因為工作上會接觸Google Cloud的BigQuery,所以上網找了幾個影片來快速了解一下,將影片中的幾個點列出來,不過建議還是把整個影片看完喔,因為影片不長且包含更多資訊。:)
[BigQuery 教學] 046 雲端界陳浩南 - BigQuery 到底有多快?| 簡報免費下載—東東GCP教學
BigQuery是Google Cloud的雲端資料倉儲和分析的工具:- 跟傳統關聯式資料庫以列儲存的方式不同,是以欄位的方式分開儲存,且可以進一步壓縮起來,讓資料量更小,處理速度更快。
- 分散式處理。當分析的指令產生時,前面原本主要的機器會去啟動後面所有其他的機器,每台機器都被分配一點資料處理的工作,全部處理完後再統整回來,回傳整個分析的結果,所以可以大幅縮短執行時間。
- 無伺服器,不需要管理機器。儲存資料無上限,以儲存量和查詢量計價,不需要在使用前先購買或租用機器。
- 有免費沙箱可以使用。
圖解 GCP・使用 Big Query 5大誘因 & 完整架構介紹 |入門|介紹|程式|科技|教學|介紹|雲端|Google—矽谷叔叔 Uncle Sam
- Serverless,Google會在後面把伺服器管好,不必擔心某個伺服器壞掉導致服務被中斷,達到high ability。
- Distributed,一個query會交由多台虛擬機來處理,使效能很快。
- Columnar Storage,以欄位作為儲存的單位,因為分析時通常會聚焦在某幾個欄位上面,所以適合用在商業智能分析上面。
- BigQuery的架構為:project->dataset->table。另外,BigQuery有public project,裡面有公開的資料可使用。