[GCP] GCS/BigQuery 建議的備份方法? (工作日常)

更新於 發佈於 閱讀時間約 2 分鐘


使用 Storage Transfer 服務是否能降低成本?


Storage Transfer 的計價方式針對從 Cloud Storage 轉移至 Cloud Storage,除了一般費用外,Storage 移轉服務會使用 Cloud Storage rewrite 作業在 Cloud Storage 值區之間移動資料 (A 級作業) 會另外收取,這筆也是您提到的 GCS 內收取的費用,因此不可避免的產生 9000 萬次的 Class A Operations,費用超過 450 美金。詳細定價請參閱 [1]


一般費用是指:

從某個 Cloud Storage 值區移轉至另一個 Cloud Storage 值區

在 Cloud Storage 值區中重新寫入資料

刪除 Cloud Storage 值區中的資料。(提前刪除費用)


使用 Storage Transfer 是否能讓備份流程更加穩定、降低錯誤發生機率?


Storage 移轉服務目前並無 Google SLA 的支持,因此 GCP 並無法保證錯誤發生以及發生後之任何賠償事宜


​另外,如果是 BigQuery 備份到 GCS,是否有建議的做法?


BigQuery 備份到 GCS 的做法,目前在 BigQuery 中有內建 [2] 使用導出的功能將資料導出至 GCS,可以透過 GCP Console、 bq command 以及 API 來操作執行,使用此做法不須額外在啟用新服務


[1] https://cloud.google.com/storage-transfer/pricing?hl=zh-tw

[2] https://cloud.google.com/bigquery/docs/exporting-data?hl=zh-cn

avatar-img
16會員
80內容數
留言0
查看全部
avatar-img
發表第一個留言支持創作者!
西尼亞ming的沙龍 的其他內容
Cloud NGFW(Next Generation Firewall)的入侵防禦服務(IPS,Intrusion Prevention Service)是一項持續監控您在 GCP 上的 workloads 流量服務,用於偵測任何惡意活動並採取預防措施以防止這些活動。[1] 您可以使用 Fir
本文探討 Amazon CloudFront 的熱門物件報告,分析近7天和近30天總位元組數的差異,解釋為何在不同時間範圍內,熱門物件清單可能會不同。報告依賴於持續追蹤請求數,以確保數據的可靠性,並提供精確的物件使用情況。透過數據的解讀,幫助用戶優化內容分發策略。
客戶詢問: 目前有B帳號使用 Control Tower 管理多帳號,有建立organizations 管理 OUs,我現在需要搬回到這個A帳號(B org to A org)。 目前知道的步驟為 1.A帳號需要先建立新organizations ,複製一樣的權限如 Scp 2.A帳
Is it possible to do cross-account Msk for EventBridge Pipes sources? 當前 EventBridge Pipes 無論透過 Console,或是 CLI,都尚未支持跨帳號的 MSK 資源。 目前 Console 尚無法
我的ALB return 307 要給 client, 然後 waf發現了, 就把這個 ip block 掉。 這樣的方式可waf 規則做的到嗎? 想要在 WAF 上對特定的響應做阻擋,當前 WAF 僅能對請求的內容檢查並給予相對應的動作,故無法針對您 ALB 上的特定響應封鎖。
ACM 網域驗證的自動更新是否需要將網域託管在 Amazon Route 53 上 ? 答案是否定的。您可以在不同的 DNS 服務提供者託管您的網域。如果您的記錄設定正確,AWS ACM 仍然可以自動續約證書。 參考文獻: [1] DNS 驗證-https://docs.aws.am
Cloud NGFW(Next Generation Firewall)的入侵防禦服務(IPS,Intrusion Prevention Service)是一項持續監控您在 GCP 上的 workloads 流量服務,用於偵測任何惡意活動並採取預防措施以防止這些活動。[1] 您可以使用 Fir
本文探討 Amazon CloudFront 的熱門物件報告,分析近7天和近30天總位元組數的差異,解釋為何在不同時間範圍內,熱門物件清單可能會不同。報告依賴於持續追蹤請求數,以確保數據的可靠性,並提供精確的物件使用情況。透過數據的解讀,幫助用戶優化內容分發策略。
客戶詢問: 目前有B帳號使用 Control Tower 管理多帳號,有建立organizations 管理 OUs,我現在需要搬回到這個A帳號(B org to A org)。 目前知道的步驟為 1.A帳號需要先建立新organizations ,複製一樣的權限如 Scp 2.A帳
Is it possible to do cross-account Msk for EventBridge Pipes sources? 當前 EventBridge Pipes 無論透過 Console,或是 CLI,都尚未支持跨帳號的 MSK 資源。 目前 Console 尚無法
我的ALB return 307 要給 client, 然後 waf發現了, 就把這個 ip block 掉。 這樣的方式可waf 規則做的到嗎? 想要在 WAF 上對特定的響應做阻擋,當前 WAF 僅能對請求的內容檢查並給予相對應的動作,故無法針對您 ALB 上的特定響應封鎖。
ACM 網域驗證的自動更新是否需要將網域託管在 Amazon Route 53 上 ? 答案是否定的。您可以在不同的 DNS 服務提供者託管您的網域。如果您的記錄設定正確,AWS ACM 仍然可以自動續約證書。 參考文獻: [1] DNS 驗證-https://docs.aws.am
你可能也想看
Google News 追蹤
Thumbnail
/ 大家現在出門買東西還會帶錢包嗎 鴨鴨發現自己好像快一個禮拜沒帶錢包出門 還是可以天天買滿買好回家(? 因此為了記錄手機消費跟各種紅利優惠 鴨鴨都會特別注意銀行的App好不好用! 像是介面設計就是會很在意的地方 很多銀行通常會為了要滿足不同客群 會推出很多App讓使用者下載 每次
Thumbnail
iCloud 照片是一種雲端照片儲存服務,可以將您的照片和影片備份到雲端, 並在您的所有裝置上保持最新。但是,如果您從 iCloud.com 刪除照片或影片, 它們也會從所有開啟 iCloud 照片的裝置中刪除。 因此,在刪除照片或影片之前, 請務必確認您已經將它們備份到本地裝置或其他雲端儲
Thumbnail
疫情世代後,企業在思考的已經不是要不要上雲,而是哪些服務或內容可以上雲,透過混合雲的形式,搭配公司的策略達到靈活且彈性的最佳效益。 而既然要能達到最佳效益,選擇適合公司環境的雲端環境,對於現代企業來說非常重要,這篇文章將與大家分享AWS、GCP、Azure三大公有雲的特點與優勢。
Thumbnail
這篇文章主要是介紹了SQL查詢效能調校的方法,針對索引最佳化做了整理和分享,並提供了一些注意事項和建議。
Thumbnail
iCloud 照片是一種雲端照片儲存服務,可以將您的照片和影片備份到雲端, 並在您的所有裝置上保持最新。但是,如果您從 iCloud.com 刪除照片或影片, 它們也會從所有開啟 iCloud 照片的裝置中刪除。 因此,在刪除照片或影片之前, 請務必確認您已經將它們備份到本地裝置或其他雲端儲
Thumbnail
本篇文章主要是在準備 Professional Google Workspace Administrator 考試時,使用官方教材所截錄出來的考試範圍(官方文件),另外也是企業剛導入 Google Workspace 時常見的設定的整理。
Thumbnail
BigQuery 是 Google 推出的無伺服器資料倉儲方案,內建有查詢引擎(類似於 SQL),查詢引擎除了可以方便管理外,也能夠在短時間內對數 TB 的數據進行撈取。相較於其他的資料倉儲解決方案相比,它的成本較低,但如果你的資料量太大有可能成本還是超出你的預期
Thumbnail
企業導入雲端技術的原因,包括:提高效能、節省成本、提升靈活性、強化資訊安全等,規模化的集中管理也與ESG永續議題接壤,減少了維護機房的耗能和碳排放量。 雲端技術提供了更具成本效益、靈活、安全且可擴充的IT基礎架構,分工的規模化經營也同時提升了管理及資源使用效率。
Thumbnail
引言 在現今迅速發展的科技環境下,資料克隆技術已成為數據管理中不可或缺的一環。在日常生活和商業運營中,我們經常需要處理大量數據的複製、備份和遷移,而SSD克隆技術應運而生,提供了高效、快速和方便的解決方案。 目錄 SSD克隆的原理 SSD克隆的方法 SSD克隆機器的運作 軟體 vs. 專
Thumbnail
/ 大家現在出門買東西還會帶錢包嗎 鴨鴨發現自己好像快一個禮拜沒帶錢包出門 還是可以天天買滿買好回家(? 因此為了記錄手機消費跟各種紅利優惠 鴨鴨都會特別注意銀行的App好不好用! 像是介面設計就是會很在意的地方 很多銀行通常會為了要滿足不同客群 會推出很多App讓使用者下載 每次
Thumbnail
iCloud 照片是一種雲端照片儲存服務,可以將您的照片和影片備份到雲端, 並在您的所有裝置上保持最新。但是,如果您從 iCloud.com 刪除照片或影片, 它們也會從所有開啟 iCloud 照片的裝置中刪除。 因此,在刪除照片或影片之前, 請務必確認您已經將它們備份到本地裝置或其他雲端儲
Thumbnail
疫情世代後,企業在思考的已經不是要不要上雲,而是哪些服務或內容可以上雲,透過混合雲的形式,搭配公司的策略達到靈活且彈性的最佳效益。 而既然要能達到最佳效益,選擇適合公司環境的雲端環境,對於現代企業來說非常重要,這篇文章將與大家分享AWS、GCP、Azure三大公有雲的特點與優勢。
Thumbnail
這篇文章主要是介紹了SQL查詢效能調校的方法,針對索引最佳化做了整理和分享,並提供了一些注意事項和建議。
Thumbnail
iCloud 照片是一種雲端照片儲存服務,可以將您的照片和影片備份到雲端, 並在您的所有裝置上保持最新。但是,如果您從 iCloud.com 刪除照片或影片, 它們也會從所有開啟 iCloud 照片的裝置中刪除。 因此,在刪除照片或影片之前, 請務必確認您已經將它們備份到本地裝置或其他雲端儲
Thumbnail
本篇文章主要是在準備 Professional Google Workspace Administrator 考試時,使用官方教材所截錄出來的考試範圍(官方文件),另外也是企業剛導入 Google Workspace 時常見的設定的整理。
Thumbnail
BigQuery 是 Google 推出的無伺服器資料倉儲方案,內建有查詢引擎(類似於 SQL),查詢引擎除了可以方便管理外,也能夠在短時間內對數 TB 的數據進行撈取。相較於其他的資料倉儲解決方案相比,它的成本較低,但如果你的資料量太大有可能成本還是超出你的預期
Thumbnail
企業導入雲端技術的原因,包括:提高效能、節省成本、提升靈活性、強化資訊安全等,規模化的集中管理也與ESG永續議題接壤,減少了維護機房的耗能和碳排放量。 雲端技術提供了更具成本效益、靈活、安全且可擴充的IT基礎架構,分工的規模化經營也同時提升了管理及資源使用效率。
Thumbnail
引言 在現今迅速發展的科技環境下,資料克隆技術已成為數據管理中不可或缺的一環。在日常生活和商業運營中,我們經常需要處理大量數據的複製、備份和遷移,而SSD克隆技術應運而生,提供了高效、快速和方便的解決方案。 目錄 SSD克隆的原理 SSD克隆的方法 SSD克隆機器的運作 軟體 vs. 專