BigQuery
含有「BigQuery」共 9 篇內容
全部內容
發佈日期由新至舊
(一樣是接續前一篇文章)
減少要處理的資料
建議不要使用SELECT *
僅查詢所需欄位，控管投影。投影指的是查詢作業讀取的欄位數。投影多餘的資料欄會產生額外的(浪費)I/O和具體化(寫入結果)。
避免使用依日期進行資料分割的資料表
請勿使用依日期進行資料分割的資料表(又稱為以日期命名的資
運算單元爭用情況
執行查詢時，BigQuery會嘗試將查詢所需的工作拆分為"工作"。工作是指單一資料切片，可輸入至"階段"並從中輸出。單一時段會接收工作，並執行該階段的資料切片。理想情況下，BigQuery分區會並行執行這些工作，以便達到高效能。如果查詢有許多工作準備開始執行，但BigQuery無
BigQuery的Region和Multi-Region的比較：
地理範圍：
Region：單一資料中心區域
Multi-Region：多個資料中心區域的集合
可用性：
Region：較低(依賴單一區域)
Multi-Region：較高(跨多個區域)
容錯能力：
Region：一般
因為工作上會接觸Google Cloud的BigQuery，所以上網找了幾個影片來快速了解一下，將影片中的幾個點列出來，不過建議還是把整個影片看完喔，因為影片不長且包含更多資訊。：）
[BigQuery 教學] 046 雲端界陳浩南 - BigQuery 到底有多快？| 簡報免費下載—東東GC
BigQuery近期推出Continuous Query預覽功能，實現即時資料處理，支援與Pub/Sub、Bigtable等服務整合，並可用於即時監控、模型訓練等應用。但此功能目前限制較多，僅支援基礎的SQL語法，且計費模式為capacity-based，費用相對高昂。
使用 BigQuery ML，讓 Data Analyst 可以在僅會 SQL 的情況下，建立預測模型，做到「快速分析多個特徵」給予客戶分群建議
在文中將會使用 BigQuery 的 hosted remote functions 和 Vertex AI 的大型語言模型（LLM）進行文本生成（text-bison） 來分析並生成關於 GitHub 公開資料庫的摘要和程式語言識別。
BigQuery M是 BigQuery 中的一項功能，數據分析師可以使用SQL語句創建、訓練、評估和預測機器學習模型。
在這次實作將使用一個電子商務(Google 商品商店)數據集來運行一些典型的查詢和模型訓練和預測，以讓企業更了解其客戶的購買習慣。
在網頁服務中資料庫擔任了很重要的任務，用來保存客戶的資料與提供分析的數據來源，而針對不同的需求會有各類型適合資料庫來負責。
這篇文章中會針對 Row-Oriented (以列為儲存主體) 和 Columnar (以行為儲存主體) 的兩種資料庫來分析任務與資料庫間的合適搭配。
