[GCP] GCS/BigQuery 建議的備份方法? (工作日常)

更新於 2024/11/05閱讀時間約 2 分鐘


使用 Storage Transfer 服務是否能降低成本?


Storage Transfer 的計價方式針對從 Cloud Storage 轉移至 Cloud Storage,除了一般費用外,Storage 移轉服務會使用 Cloud Storage rewrite 作業在 Cloud Storage 值區之間移動資料 (A 級作業) 會另外收取,這筆也是您提到的 GCS 內收取的費用,因此不可避免的產生 9000 萬次的 Class A Operations,費用超過 450 美金。詳細定價請參閱 [1]


一般費用是指:

從某個 Cloud Storage 值區移轉至另一個 Cloud Storage 值區

在 Cloud Storage 值區中重新寫入資料

刪除 Cloud Storage 值區中的資料。(提前刪除費用)


使用 Storage Transfer 是否能讓備份流程更加穩定、降低錯誤發生機率?


Storage 移轉服務目前並無 Google SLA 的支持,因此 GCP 並無法保證錯誤發生以及發生後之任何賠償事宜


​另外,如果是 BigQuery 備份到 GCS,是否有建議的做法?


BigQuery 備份到 GCS 的做法,目前在 BigQuery 中有內建 [2] 使用導出的功能將資料導出至 GCS,可以透過 GCP Console、 bq command 以及 API 來操作執行,使用此做法不須額外在啟用新服務


[1] https://cloud.google.com/storage-transfer/pricing?hl=zh-tw

[2] https://cloud.google.com/bigquery/docs/exporting-data?hl=zh-cn

    avatar-img
    16會員
    80內容數
    留言0
    查看全部
    avatar-img
    發表第一個留言支持創作者!
    西尼亞ming的沙龍 的其他內容
    Cloud NGFW(Next Generation Firewall)的入侵防禦服務(IPS,Intrusion Prevention Service)是一項持續監控您在 GCP 上的 workloads 流量服務,用於偵測任何惡意活動並採取預防措施以防止這些活動。[1] 您可以使用 Fir
    本文探討 Amazon CloudFront 的熱門物件報告,分析近7天和近30天總位元組數的差異,解釋為何在不同時間範圍內,熱門物件清單可能會不同。報告依賴於持續追蹤請求數,以確保數據的可靠性,並提供精確的物件使用情況。透過數據的解讀,幫助用戶優化內容分發策略。
    客戶詢問: 目前有B帳號使用 Control Tower 管理多帳號,有建立organizations 管理 OUs,我現在需要搬回到這個A帳號(B org to A org)。 目前知道的步驟為 1.A帳號需要先建立新organizations ,複製一樣的權限如 Scp 2.A帳
    Is it possible to do cross-account Msk for EventBridge Pipes sources? 當前 EventBridge Pipes 無論透過 Console,或是 CLI,都尚未支持跨帳號的 MSK 資源。 目前 Console 尚無法
    我的ALB return 307 要給 client, 然後 waf發現了, 就把這個 ip block 掉。 這樣的方式可waf 規則做的到嗎? 想要在 WAF 上對特定的響應做阻擋,當前 WAF 僅能對請求的內容檢查並給予相對應的動作,故無法針對您 ALB 上的特定響應封鎖。
    ACM 網域驗證的自動更新是否需要將網域託管在 Amazon Route 53 上 ? 答案是否定的。您可以在不同的 DNS 服務提供者託管您的網域。如果您的記錄設定正確,AWS ACM 仍然可以自動續約證書。 參考文獻: [1] DNS 驗證-https://docs.aws.am
    Cloud NGFW(Next Generation Firewall)的入侵防禦服務(IPS,Intrusion Prevention Service)是一項持續監控您在 GCP 上的 workloads 流量服務,用於偵測任何惡意活動並採取預防措施以防止這些活動。[1] 您可以使用 Fir
    本文探討 Amazon CloudFront 的熱門物件報告,分析近7天和近30天總位元組數的差異,解釋為何在不同時間範圍內,熱門物件清單可能會不同。報告依賴於持續追蹤請求數,以確保數據的可靠性,並提供精確的物件使用情況。透過數據的解讀,幫助用戶優化內容分發策略。
    客戶詢問: 目前有B帳號使用 Control Tower 管理多帳號,有建立organizations 管理 OUs,我現在需要搬回到這個A帳號(B org to A org)。 目前知道的步驟為 1.A帳號需要先建立新organizations ,複製一樣的權限如 Scp 2.A帳
    Is it possible to do cross-account Msk for EventBridge Pipes sources? 當前 EventBridge Pipes 無論透過 Console,或是 CLI,都尚未支持跨帳號的 MSK 資源。 目前 Console 尚無法
    我的ALB return 307 要給 client, 然後 waf發現了, 就把這個 ip block 掉。 這樣的方式可waf 規則做的到嗎? 想要在 WAF 上對特定的響應做阻擋,當前 WAF 僅能對請求的內容檢查並給予相對應的動作,故無法針對您 ALB 上的特定響應封鎖。
    ACM 網域驗證的自動更新是否需要將網域託管在 Amazon Route 53 上 ? 答案是否定的。您可以在不同的 DNS 服務提供者託管您的網域。如果您的記錄設定正確,AWS ACM 仍然可以自動續約證書。 參考文獻: [1] DNS 驗證-https://docs.aws.am
    你可能也想看
    Google News 追蹤
    Thumbnail
    徵的就是你 🫵 超ㄅㄧㄤˋ 獎品搭配超瞎趴的四大主題,等你踹共啦!還有機會獲得經典的「偉士牌樂高」喔!馬上來參加本次的活動吧!
    Thumbnail
    隨著理財資訊的普及,越來越多台灣人不再將資產侷限於台股,而是將視野拓展到國際市場。特別是美國市場,其豐富的理財選擇,讓不少人開始思考將資金配置於海外市場的可能性。 然而,要參與美國市場並不只是盲目跟隨標的這麼簡單,而是需要策略和方式,尤其對新手而言,除了選股以外還會遇到語言、開戶流程、Ap
    Thumbnail
    iCloud 照片是一種雲端照片儲存服務,可以將您的照片和影片備份到雲端, 並在您的所有裝置上保持最新。但是,如果您從 iCloud.com 刪除照片或影片, 它們也會從所有開啟 iCloud 照片的裝置中刪除。 因此,在刪除照片或影片之前, 請務必確認您已經將它們備份到本地裝置或其他雲端儲
    Thumbnail
    疫情世代後,企業在思考的已經不是要不要上雲,而是哪些服務或內容可以上雲,透過混合雲的形式,搭配公司的策略達到靈活且彈性的最佳效益。 而既然要能達到最佳效益,選擇適合公司環境的雲端環境,對於現代企業來說非常重要,這篇文章將與大家分享AWS、GCP、Azure三大公有雲的特點與優勢。
    Thumbnail
    這篇文章主要是介紹了SQL查詢效能調校的方法,針對索引最佳化做了整理和分享,並提供了一些注意事項和建議。
    Thumbnail
    iCloud 照片是一種雲端照片儲存服務,可以將您的照片和影片備份到雲端, 並在您的所有裝置上保持最新。但是,如果您從 iCloud.com 刪除照片或影片, 它們也會從所有開啟 iCloud 照片的裝置中刪除。 因此,在刪除照片或影片之前, 請務必確認您已經將它們備份到本地裝置或其他雲端儲
    Thumbnail
    本篇文章主要是在準備 Professional Google Workspace Administrator 考試時,使用官方教材所截錄出來的考試範圍(官方文件),另外也是企業剛導入 Google Workspace 時常見的設定的整理。
    Thumbnail
    隨著數位轉型的加速,雲計算已成為企業支撐運營和創新的關鍵技術。本文將深入探討雲計算的基本概念、主要服務商的比較,以及企業在選擇和實施雲計算服務時的最佳實踐。
    Thumbnail
    BigQuery 是 Google 推出的無伺服器資料倉儲方案,內建有查詢引擎(類似於 SQL),查詢引擎除了可以方便管理外,也能夠在短時間內對數 TB 的數據進行撈取。相較於其他的資料倉儲解決方案相比,它的成本較低,但如果你的資料量太大有可能成本還是超出你的預期
    Thumbnail
    企業導入雲端技術的原因,包括:提高效能、節省成本、提升靈活性、強化資訊安全等,規模化的集中管理也與ESG永續議題接壤,減少了維護機房的耗能和碳排放量。 雲端技術提供了更具成本效益、靈活、安全且可擴充的IT基礎架構,分工的規模化經營也同時提升了管理及資源使用效率。
    Thumbnail
    引言 在現今迅速發展的科技環境下,資料克隆技術已成為數據管理中不可或缺的一環。在日常生活和商業運營中,我們經常需要處理大量數據的複製、備份和遷移,而SSD克隆技術應運而生,提供了高效、快速和方便的解決方案。 目錄 SSD克隆的原理 SSD克隆的方法 SSD克隆機器的運作 軟體 vs. 專
    Thumbnail
    徵的就是你 🫵 超ㄅㄧㄤˋ 獎品搭配超瞎趴的四大主題,等你踹共啦!還有機會獲得經典的「偉士牌樂高」喔!馬上來參加本次的活動吧!
    Thumbnail
    隨著理財資訊的普及,越來越多台灣人不再將資產侷限於台股,而是將視野拓展到國際市場。特別是美國市場,其豐富的理財選擇,讓不少人開始思考將資金配置於海外市場的可能性。 然而,要參與美國市場並不只是盲目跟隨標的這麼簡單,而是需要策略和方式,尤其對新手而言,除了選股以外還會遇到語言、開戶流程、Ap
    Thumbnail
    iCloud 照片是一種雲端照片儲存服務,可以將您的照片和影片備份到雲端, 並在您的所有裝置上保持最新。但是,如果您從 iCloud.com 刪除照片或影片, 它們也會從所有開啟 iCloud 照片的裝置中刪除。 因此,在刪除照片或影片之前, 請務必確認您已經將它們備份到本地裝置或其他雲端儲
    Thumbnail
    疫情世代後,企業在思考的已經不是要不要上雲,而是哪些服務或內容可以上雲,透過混合雲的形式,搭配公司的策略達到靈活且彈性的最佳效益。 而既然要能達到最佳效益,選擇適合公司環境的雲端環境,對於現代企業來說非常重要,這篇文章將與大家分享AWS、GCP、Azure三大公有雲的特點與優勢。
    Thumbnail
    這篇文章主要是介紹了SQL查詢效能調校的方法,針對索引最佳化做了整理和分享,並提供了一些注意事項和建議。
    Thumbnail
    iCloud 照片是一種雲端照片儲存服務,可以將您的照片和影片備份到雲端, 並在您的所有裝置上保持最新。但是,如果您從 iCloud.com 刪除照片或影片, 它們也會從所有開啟 iCloud 照片的裝置中刪除。 因此,在刪除照片或影片之前, 請務必確認您已經將它們備份到本地裝置或其他雲端儲
    Thumbnail
    本篇文章主要是在準備 Professional Google Workspace Administrator 考試時,使用官方教材所截錄出來的考試範圍(官方文件),另外也是企業剛導入 Google Workspace 時常見的設定的整理。
    Thumbnail
    隨著數位轉型的加速,雲計算已成為企業支撐運營和創新的關鍵技術。本文將深入探討雲計算的基本概念、主要服務商的比較,以及企業在選擇和實施雲計算服務時的最佳實踐。
    Thumbnail
    BigQuery 是 Google 推出的無伺服器資料倉儲方案,內建有查詢引擎(類似於 SQL),查詢引擎除了可以方便管理外,也能夠在短時間內對數 TB 的數據進行撈取。相較於其他的資料倉儲解決方案相比,它的成本較低,但如果你的資料量太大有可能成本還是超出你的預期
    Thumbnail
    企業導入雲端技術的原因,包括:提高效能、節省成本、提升靈活性、強化資訊安全等,規模化的集中管理也與ESG永續議題接壤,減少了維護機房的耗能和碳排放量。 雲端技術提供了更具成本效益、靈活、安全且可擴充的IT基礎架構,分工的規模化經營也同時提升了管理及資源使用效率。
    Thumbnail
    引言 在現今迅速發展的科技環境下,資料克隆技術已成為數據管理中不可或缺的一環。在日常生活和商業運營中,我們經常需要處理大量數據的複製、備份和遷移,而SSD克隆技術應運而生,提供了高效、快速和方便的解決方案。 目錄 SSD克隆的原理 SSD克隆的方法 SSD克隆機器的運作 軟體 vs. 專