一招讓你自動複製BigQuery資料集(Dataset)的GA4每一天資料必殺技
快速導覽
前情提要
由於BigQuery的GA4資料集都是好幾年的資料,要進行查詢時難免會不小心Query大量資料,而且BigQuery的查詢價格又變貴了。
如果你需要讓其他人進行小規模GA4的BigQuery測試,例如僅需要一個月的資料,GA4的資料集是經過日期的partition,每一天是一張資料表,因此在複製一個月的資料時,你會需要一張一張資料表進行複製,那可是會複製到思考人生為何要浪費時間在這個重複的動作上。
各位有福了,今天無私分享複製必殺技,我們會透過shell script的方式進行資料表複製。
Step1. 進到GCP的Cloud Shell
Step2. 開啟Open Editor
Step3. 新增copy_bigquery.sh,把右邊的程式碼複製進去,程式碼傳送門。
小提醒:目前有新的編輯器上線,使用這個版本的編輯器會跳出警示。
Step4. 畫紅線的部分,要記得修改為你的設定哦
Step5. 回到Terminal,下指令囉。
Step6. 直接在command line執行sh copy_bigquery.sh
Step7. 完成!!如果你看到你的每一張資料表成功複製,代表你成功了。
小提醒:若遇到相同表格時,它會自動強制覆蓋,例如你的目標資料表已存在相同的表格名稱,它會進行強制覆蓋哦。