一招讓你自動複製BigQuery資料集(Dataset)的GA4每一天資料必殺技
By Jason Kang profile image Jason Kang
3 min read

一招讓你自動複製BigQuery資料集(Dataset)的GA4每一天資料必殺技

前情提要

由於BigQuery的GA4資料集都是好幾年的資料,要進行查詢時難免會不小心Query大量資料,而且BigQuery的查詢價格又變貴了。

BigQuery 企業資料倉儲
BigQuery 是符合成本效益的無伺服器多雲端資料倉儲系統,可協助您將大數據轉化為寶貴的業務深入分析結果。歡迎免費試用。

如果你需要讓其他人進行小規模GA4的BigQuery測試,例如僅需要一個月的資料,GA4的資料集是經過日期的partition,每一天是一張資料表,因此在複製一個月的資料時,你會需要一張一張資料表進行複製,那可是會複製到思考人生為何要浪費時間在這個重複的動作上。

各位有福了,今天無私分享複製必殺技,我們會透過shell script的方式進行資料表複製。

Step1. 進到GCP的Cloud Shell

Step2. 開啟Open Editor

Step3. 新增copy_bigquery.sh,把右邊的程式碼複製進去,程式碼傳送門

小提醒:目前有新的編輯器上線,使用這個版本的編輯器會跳出警示。

Step4. 畫紅線的部分,要記得修改為你的設定哦

Step5. 回到Terminal,下指令囉。

Step6. 直接在command line執行sh copy_bigquery.sh

Step7. 完成!!如果你看到你的每一張資料表成功複製,代表你成功了。

小提醒:若遇到相同表格時,它會自動強制覆蓋,例如你的目標資料表已存在相同的表格名稱,它會進行強制覆蓋哦。
By Jason Kang profile image Jason Kang
Updated on
Data Science 數據科學應用 BigQuery