當BigQuery執行查詢工作時，會將宣告式SQL陳述式轉換成執行圖，圖中會把執行作業拆分成一系列的查詢階段，而這些階段是由更精細的執行步驟組合所組成的。BigQuery會使用大量分散式平行架構來執行這些查詢。階段會模擬許多潛在工作站可能並行執行的工作單元。各階段會透過快速的分散式重組架構通訊。



職場

學習

文化生活

以行動支持創作者！付費即可解鎖

軟體開發

柴郡貓姍蒂的沙龍

查詢

執行

階段

記憶體

作業

資訊

筆記[工作]-BigQuery文件閱讀：查詢計畫與時程

_Default Bucket

是GCP自動為每個Google Cloud Project建立的預設日誌儲存桶，大部分的日誌(像是稽核記錄、GKE logs、Compute Engine logs等)預設都會儲存在這裡。

每個_Default bucket預設會包含以下view：

_AllLo

創作

Google

筆記[工作]-GCP相關知識查詢：_Default Bucket

VPC Serverless Connectors

是Google Cloud提供的一種機制，允許「Serverless工作負載(如Cloud Run、Cloud Functions、App Engine標準環境)」安全且私密地連線到使用者的VPC資源(例如 VM、Cloud SQL、Redis、

Audi

資源

環境

筆記[工作]-GCP相關知識查詢：VPC Serverless Connectors、Audit Logs

SSO

SSO全名為Single Sign On，意思是多個登入端點，皆採用相同的認證管道。就是當企業有多個網站時，可以從一個統一的入口登入帳戶，接著就所有的網站都能使用。常見的例如Google這樣的多服務平台，無論要登入Gmail、雲端硬碟還是Youtube，都會導向到同一個 Google 登入

Gmail

網站

企業

筆記[工作]-GCP相關知識查詢：SSO、Private Service Connect(PSC)

在研讀Google Cloud Compute Engine時，讀到一些名詞，不是很懂，問了ChatGPT和查詢網路文章後，將回答紀錄如下：



Sole-Tenant Node

Sole-Tenant Node(專用主機節點)是Google Cloud Platform(GCP)的一種虛擬機部

國際

ChatGPT

部署

中斷

授權

伺服器

24小時

筆記[工作]-GCP相關知識查詢：Sole-Tenant Node、Spot VM和Preemptible VM

(一樣是接續前一篇文章)

減少要處理的資料

建議不要使用SELECT *

僅查詢所需欄位，控管投影。投影指的是查詢作業讀取的欄位數。投影多餘的資料欄會產生額外的(浪費)I/O和具體化(寫入結果)。

避免使用依日期進行資料分割的資料表

請勿使用依日期進行資料分割的資料表(又稱為以日期命名的資

音樂藝文

命名

文件

筆記[工作]-BigQuery文件閱讀：最佳化調整查詢運算

運算單元爭用情況

執行查詢時，BigQuery會嘗試將查詢所需的工作拆分為"工作"。工作是指單一資料切片，可輸入至"階段"並從中輸出。單一時段會接收工作，並執行該階段的資料切片。理想情況下，BigQuery分區會並行執行這些工作，以便達到高效能。如果查詢有許多工作準備開始執行，但BigQuery無

閱讀書評

分區

筆記[工作]-BigQuery文件閱讀：取得查詢效能洞察資料

BigQuery的Region和Multi-Region的比較：

地理範圍：

Region：單一資料中心區域

Multi-Region：多個資料中心區域的集合

可用性：

Region：較低(依賴單一區域)

Multi-Region：較高(跨多個區域)

容錯能力：

Region：一般


資料中心

TIME

收費

成本

機制

筆記[工作]-BigQuery相關知識查詢：Region vs. Multi-Region、資料類型、收費機制

因為名詞解釋在ChatGPT上都查得到，所以此篇筆記只記錄如何操作的影片連結(：P)

大概簡單比較兩者使用的情境：

Shared VPC：同一個VPC網路跨專案共用，中央管理、安全一致

VPC Peering：兩個獨立VPC點對點互通，各自管理

下面是如何在GCP操作兩者的影片：

Shar

管理

筆記[工作]-GCP功能操作：Shared VPC、VPC Peering



在研讀Google Cloud IAM(Identity and Access Management)時，讀到成員除了Google帳戶，還可能有Service Account(和其他)，不是很懂，故問了ChatGPT，得到以下回答：

Service Account是一種由Google管理的特殊

應用程式

帳戶

認證

程式

筆記[工作]-GCP名詞解釋：Service Account

筆記-深度學習相似釐清："flatten()"、"Flatten"

筆記-強化式學習演算法簡介："ε - greedy"、"UCB1"

筆記-深度學習概念了解：1X1卷積

筆記-深度學習名詞解釋："激活函數"、"損失函數"、"優化器"、"評估指標"

筆記-深度學習論文閱讀：Deep Residual Learning for Image Recognition