筆記[工作]-BigQuery文件閱讀:取得查詢效能洞察資料

更新 發佈閱讀 2 分鐘

以下是工作使用到BigQuery時需要考慮來優化查詢的點(大部分是直接從文章中節錄出來:P)

運算單元爭用情況

執行查詢時,BigQuery會嘗試將查詢所需的工作拆分為"工作"。工作是指單一資料切片,可輸入至"階段"並從中輸出。單一時段會接收工作,並執行該階段的資料切片。理想情況下,BigQuery分區會並行執行這些工作,以便達到高效能。如果查詢有許多工作準備開始執行,但BigQuery無法取得足夠的可用運算單元來執行這些工作,就會發生運算單元爭用情形。

對於未分割的資料表,BigQuery會讀取整個資料表。分區資料表有助於確保只查詢感興趣的資料表子集。

重組配額不足

在執行查詢之前,BigQuery會將查詢邏輯分割為"階段"。BigQuery運算單元會執行各個階段的工作。當運算單元完成階段工作執行作業時,會將中繼結果儲存在shuffle中。查詢中的後續階段會讀取Shuffle中的資料,以便繼續執行查詢。如果需要寫入重組的資料量超過重組容量,就會發生重組配額不足的情況。

減少查詢處理的資料量可能會降低shuffle使用量。SQL中的某些作業通常會更廣泛地使用shuffle,尤其是JOIN作業和GROUP BY子句。盡可能減少這些作業中的資料量,或許可以降低隨機播放的用量。

分區偏差

資料分布不均可能導致查詢執行速度變慢。執行查詢時,BigQuery會將資料分割成小型分區。無法在不同時段之間共用分區。因此,如果資料分布不均,部分分區會變得非常大,導致處理過大分區的運算單元異常終止。


來源文件:取得查詢成效洞察資料


留言
avatar-img
柴郡貓姍蒂的沙龍
48會員
39內容數
2025/08/10
BigQuery的Region和Multi-Region的比較: 地理範圍: Region:單一資料中心區域 Multi-Region:多個資料中心區域的集合 可用性: Region:較低(依賴單一區域) Multi-Region:較高(跨多個區域) 容錯能力: Region:一般
2025/08/10
BigQuery的Region和Multi-Region的比較: 地理範圍: Region:單一資料中心區域 Multi-Region:多個資料中心區域的集合 可用性: Region:較低(依賴單一區域) Multi-Region:較高(跨多個區域) 容錯能力: Region:一般
2025/08/10
因為名詞解釋在ChatGPT上都查得到,所以此篇筆記只記錄如何操作的影片連結(:P) 大概簡單比較兩者使用的情境: Shared VPC:同一個VPC網路跨專案共用,中央管理、安全一致 VPC Peering:兩個獨立VPC點對點互通,各自管理 下面是如何在GCP操作兩者的影片: Shar
2025/08/10
因為名詞解釋在ChatGPT上都查得到,所以此篇筆記只記錄如何操作的影片連結(:P) 大概簡單比較兩者使用的情境: Shared VPC:同一個VPC網路跨專案共用,中央管理、安全一致 VPC Peering:兩個獨立VPC點對點互通,各自管理 下面是如何在GCP操作兩者的影片: Shar
2025/07/06
在研讀Google Cloud IAM(Identity and Access Management)時,讀到成員除了Google帳戶,還可能有Service Account(和其他),不是很懂,故問了ChatGPT,得到以下回答: Service Account是一種由Google管理的特殊
2025/07/06
在研讀Google Cloud IAM(Identity and Access Management)時,讀到成員除了Google帳戶,還可能有Service Account(和其他),不是很懂,故問了ChatGPT,得到以下回答: Service Account是一種由Google管理的特殊
看更多
你可能也想看
Thumbnail
在POWER QUERY從0到1 #9 樞紐資料行的功能是將長資料轉換成寬資料,使數據可以快速分析。 而所謂的取消資料行樞紐,就是把寬資料轉換成長資料的一個過程,也就是資料的正規化。 如下圖所示,左邊的圖為二維結構,屬於寬資料,每列可能包含多筆數據(1.2.3月),右邊的圖屬於長資料,每列都
Thumbnail
在POWER QUERY從0到1 #9 樞紐資料行的功能是將長資料轉換成寬資料,使數據可以快速分析。 而所謂的取消資料行樞紐,就是把寬資料轉換成長資料的一個過程,也就是資料的正規化。 如下圖所示,左邊的圖為二維結構,屬於寬資料,每列可能包含多筆數據(1.2.3月),右邊的圖屬於長資料,每列都
Thumbnail
在資料分析過程中,透過衡量變數之間的線性或非線性關係,能有效探索數據集,篩選出重要特徵,並進行預測建模。本文介紹瞭如何理解數據、使用相關矩陣找出變數關聯性,以及利用互資訊評估變數之間的依賴程度,幫助資料科學家在建模過程中選擇適當的變數,提升模型效果。
Thumbnail
在資料分析過程中,透過衡量變數之間的線性或非線性關係,能有效探索數據集,篩選出重要特徵,並進行預測建模。本文介紹瞭如何理解數據、使用相關矩陣找出變數關聯性,以及利用互資訊評估變數之間的依賴程度,幫助資料科學家在建模過程中選擇適當的變數,提升模型效果。
Thumbnail
背景:從冷門配角到市場主線,算力與電力被重新定價   小P從2008進入股市,每一個時期的投資亮點都不同,記得2009蘋果手機剛上市,當時蘋果只要在媒體上提到哪一間供應鏈,隔天股價就有驚人的表現,當時光學鏡頭非常熱門,因為手機第一次搭上鏡頭可以拍照,也造就傳統相機廠的殞落,如今手機已經全面普及,題
Thumbnail
背景:從冷門配角到市場主線,算力與電力被重新定價   小P從2008進入股市,每一個時期的投資亮點都不同,記得2009蘋果手機剛上市,當時蘋果只要在媒體上提到哪一間供應鏈,隔天股價就有驚人的表現,當時光學鏡頭非常熱門,因為手機第一次搭上鏡頭可以拍照,也造就傳統相機廠的殞落,如今手機已經全面普及,題
Thumbnail
本文介紹了如何使用資料樞紐分析的功能來整理所需的資料,並設定圖表的中文字型,最後提供了繪圖的程式碼範例。
Thumbnail
本文介紹了如何使用資料樞紐分析的功能來整理所需的資料,並設定圖表的中文字型,最後提供了繪圖的程式碼範例。
Thumbnail
條件資料行是POWER QUERY裡面一個可以設定指定條件,進而判斷符合條件的資料產生指定的內容,就跟EXCEL中的IF函數很像。 但是POWER QUERY的條件資料行,他是利用對話式的視窗,所以不需要自己動手寫函數,就可以順利達到相同的功能。 今天就用1個資料3個題目來學習這個功能
Thumbnail
條件資料行是POWER QUERY裡面一個可以設定指定條件,進而判斷符合條件的資料產生指定的內容,就跟EXCEL中的IF函數很像。 但是POWER QUERY的條件資料行,他是利用對話式的視窗,所以不需要自己動手寫函數,就可以順利達到相同的功能。 今天就用1個資料3個題目來學習這個功能
Thumbnail
數據分析與解讀 隨著數據的爆炸式增長,能夠分析、解讀和應用數據的能力變得至關重要。這包括熟悉數據分析工具和技術,如統計學、數據挖掘、機器學習等。然而,僅靠短時間的數據分析並不足以提供深入見解。 要熟悉數據分析工具和技術,如統計學、數據挖掘和機器學習,可以從以下幾個方面入手: 基礎知識的學習
Thumbnail
數據分析與解讀 隨著數據的爆炸式增長,能夠分析、解讀和應用數據的能力變得至關重要。這包括熟悉數據分析工具和技術,如統計學、數據挖掘、機器學習等。然而,僅靠短時間的數據分析並不足以提供深入見解。 要熟悉數據分析工具和技術,如統計學、數據挖掘和機器學習,可以從以下幾個方面入手: 基礎知識的學習
Thumbnail
作為一名擁有多年經驗的數據分析師,我深知數據分析的重要性及其對企業決策的影響。然而,數據分析並不是在任何情況下都適用。今天我想跟你聊的事情是:在數據量不足或缺乏流程優化目的時,進行數據分析的局限性。
Thumbnail
作為一名擁有多年經驗的數據分析師,我深知數據分析的重要性及其對企業決策的影響。然而,數據分析並不是在任何情況下都適用。今天我想跟你聊的事情是:在數據量不足或缺乏流程優化目的時,進行數據分析的局限性。
Thumbnail
本文分析導演巴里・柯斯基(Barrie Kosky)如何運用極簡的舞臺配置,將布萊希特(Bertolt Brecht)的「疏離效果」轉化為視覺奇觀與黑色幽默,探討《三便士歌劇》在當代劇場中的新詮釋,並藉由舞臺、燈光、服裝、音樂等多方面,分析該作如何在保留批判核心的同時,觸及觀眾的觀看位置與人性幽微。
Thumbnail
本文分析導演巴里・柯斯基(Barrie Kosky)如何運用極簡的舞臺配置,將布萊希特(Bertolt Brecht)的「疏離效果」轉化為視覺奇觀與黑色幽默,探討《三便士歌劇》在當代劇場中的新詮釋,並藉由舞臺、燈光、服裝、音樂等多方面,分析該作如何在保留批判核心的同時,觸及觀眾的觀看位置與人性幽微。
Thumbnail
這是一場修復文化與重建精神的儀式,觀眾不需要完全看懂《遊林驚夢:巧遇Hagay》,但你能感受心與土地團聚的渴望,也不急著在此處釐清或定義什麼,但你的在場感受,就是一條線索,關於如何找著自己的路徑、自己的聲音。
Thumbnail
這是一場修復文化與重建精神的儀式,觀眾不需要完全看懂《遊林驚夢:巧遇Hagay》,但你能感受心與土地團聚的渴望,也不急著在此處釐清或定義什麼,但你的在場感受,就是一條線索,關於如何找著自己的路徑、自己的聲音。
Thumbnail
《轉轉生》(Re:INCARNATION)為奈及利亞編舞家庫德斯.奧尼奎庫與 Q 舞團創作的當代舞蹈作品,結合拉各斯街頭節奏、Afrobeat/Afrobeats、以及約魯巴宇宙觀的非線性時間,建構出關於輪迴的「誕生—死亡—重生」儀式結構。本文將從約魯巴哲學概念出發,解析其去殖民的身體政治。
Thumbnail
《轉轉生》(Re:INCARNATION)為奈及利亞編舞家庫德斯.奧尼奎庫與 Q 舞團創作的當代舞蹈作品,結合拉各斯街頭節奏、Afrobeat/Afrobeats、以及約魯巴宇宙觀的非線性時間,建構出關於輪迴的「誕生—死亡—重生」儀式結構。本文將從約魯巴哲學概念出發,解析其去殖民的身體政治。
Thumbnail
商業簡報不僅僅是呈現數據,更需要深入瞭解數據分析及有效的工具運用。本文探討於Excel中使用不同函數來改善數據處理效率,包括IF、IFS、VLOOKUP、XLOOKUP及INDEX與MATCH的結合,幫助商業人士更好地從數據中提取洞見,助力業務增值,學習優化數據分析過程,讓您的商業簡報更具影響力。
Thumbnail
商業簡報不僅僅是呈現數據,更需要深入瞭解數據分析及有效的工具運用。本文探討於Excel中使用不同函數來改善數據處理效率,包括IF、IFS、VLOOKUP、XLOOKUP及INDEX與MATCH的結合,幫助商業人士更好地從數據中提取洞見,助力業務增值,學習優化數據分析過程,讓您的商業簡報更具影響力。
追蹤感興趣的內容從 Google News 追蹤更多 vocus 的最新精選內容追蹤 Google News