筆記[工作]-BigQuery相關知識查詢:Database vs. Data Warehouse

更新於 發佈於 閱讀時間約 4 分鐘



以下為查詢ChatGPT有關Database(資料庫)和Data Warehouse(數據倉儲)的資料:


  • Database(資料庫)和Data Warehouse(數據倉儲)都是用來儲存資料的系統,但用途、設計方式與處理資料的方式有明顯差異,如以下說明:

1. 用途與目標

Database主要用途為日常業務操作,如交易處理(OLTP),資料處理重點為插入、更新、刪除、即時查詢;Data Warehouse用於分析與報表支援,如商業智慧(OLAP),資料處理重點則為歷史資料查詢、分析、報表。

2. 資料類型與結構

Database的資料類型為最新的、即時的營運資料,資料更新頻率是持續更新的(頻繁寫入),且資料結構正規化(Normalized),避免重複;Data Warehouse則整合自多個來源的歷史資料,且為定期批次更新(如每日、每週),以及為去正規化(Denormalized),加快查詢速度。

3. 效能與查詢方式

Database的查詢類型為單筆資料查詢、即時交易,效能優化方向為寫入速度、交易一致性;而Data Warehouse則是大量資料分析、複雜查詢(聚合、趨勢),效能優化方向為查詢速度、讀取效率。

4. 使用對象

Database的使用者通常為應用系統、開發人員、業務作業人員;而Data Warehouse則為分析師、管理層、決策者。

5. 技術範例

Database的常見技術例如MySQL、PostgreSQL、Oracle、SQL Server;Data Warehouse常見技術例如Amazon Redshift、Snowflake、Google BigQuery、Azure Synapse。


  • Data Warehouse(數據倉儲)通常會比一般的Database(資料庫)大很多,原因主要在於它的設計目的與儲存方式。說明如下:

1. 儲存歷史資料

Data Warehouse通常會儲存多年累積的歷史資料,以便做趨勢分析與長期比較;而Database只儲存目前運作所需的資料,例如最近幾天的交易記錄。

2. 整合多個資料來源

Data Warehouse會將資料從不同系統整合起來(如 CRM、ERP、POS等),因此資料量更大;而Database通常只處理單一系統的資料。

3. 資料去正規化(Denormalized)

為了加快查詢速度,Data Warehouse通常會儲存重複資料或事前彙總資料(如星型結構);而Database會盡量避免重複資料,因此資料量相對小。

4. 保留ETL/ELT過程中的中間資料

Data Warehouse的建置過程中會留下ETL處理的中間層資料,例如:staging area、data mart等。


  • 實務對比範例

Database的資料內容通常為一週內的交易資料,而資料大小可能範圍為幾GB~幾十GB;Data Warehouse則為整合3~5年的交易、使用者、行為、外部數據,資料大小可能範圍為幾百GB~數十TB,甚至PB級別(大型企業)。


  • 例外情況
  1. 小型公司可能沒有建立正式的data warehouse,因此他們的database反而會比較大。
  2. 某些database可能為了支援歷史資料查詢而保留大量資料,這種情況下大小會接近或超過簡易型data warehouse。


留言
avatar-img
留言分享你的想法!
avatar-img
柴郡貓姍蒂的沙龍
49會員
34內容數
2025/07/06
下面列出Google Cloud Platform(GCP)的各項服務資源,以及ChatGPT簡述其用途內容: 1. Compute Engine(虛擬機器): Compute Engine提供Infrastructure as a Service(IaaS),可以直接在Google的基
2025/07/06
下面列出Google Cloud Platform(GCP)的各項服務資源,以及ChatGPT簡述其用途內容: 1. Compute Engine(虛擬機器): Compute Engine提供Infrastructure as a Service(IaaS),可以直接在Google的基
2025/07/03
因為工作上會接觸Google Cloud的BigQuery,所以上網找了幾個影片來快速了解一下,將影片中的幾個點列出來,不過建議還是把整個影片看完喔,因為影片不長且包含更多資訊。:) [BigQuery 教學] 046 雲端界陳浩南 - BigQuery 到底有多快?| 簡報免費下載—東東GC
2025/07/03
因為工作上會接觸Google Cloud的BigQuery,所以上網找了幾個影片來快速了解一下,將影片中的幾個點列出來,不過建議還是把整個影片看完喔,因為影片不長且包含更多資訊。:) [BigQuery 教學] 046 雲端界陳浩南 - BigQuery 到底有多快?| 簡報免費下載—東東GC
2025/06/29
OLTP: 線上交易處理(Online transaction processing)。OLTP是一種資料處理系統,主要設計用於處理大量即時、頻繁、且小規模的資料交易。這類系統是企業日常營運的基礎,例如銀行交易、超商結帳、訂單處理等。 特性:高頻率操作,處理大量且頻繁的交易操作(新增、修改、刪除
2025/06/29
OLTP: 線上交易處理(Online transaction processing)。OLTP是一種資料處理系統,主要設計用於處理大量即時、頻繁、且小規模的資料交易。這類系統是企業日常營運的基礎,例如銀行交易、超商結帳、訂單處理等。 特性:高頻率操作,處理大量且頻繁的交易操作(新增、修改、刪除
看更多
你可能也想看
Thumbnail
※ GROUP BY 用於將數據表中的數據按照一個或多個列進行分組。例如在處理一個表格的資料時,可以指定欄位,一個或是多個,然後把將其視為ID進行分組處理。 ※ 語法 SELECT column1, column2, ..., aggregate_function(column) FROM
Thumbnail
※ GROUP BY 用於將數據表中的數據按照一個或多個列進行分組。例如在處理一個表格的資料時,可以指定欄位,一個或是多個,然後把將其視為ID進行分組處理。 ※ 語法 SELECT column1, column2, ..., aggregate_function(column) FROM
Thumbnail
※ 什麼是WHERE? 使用 WHERE來設定條件,可以幫助我們縮小查詢結果的範圍,取得想要的結果。 ※ 語法: ※ 解析順序: From:先看是哪一張table→table裡面符合Where指定條件的record→再看Select指定的是那些欄位→再根據那個欄位進行排序。 ※ 使⽤⽅
Thumbnail
※ 什麼是WHERE? 使用 WHERE來設定條件,可以幫助我們縮小查詢結果的範圍,取得想要的結果。 ※ 語法: ※ 解析順序: From:先看是哪一張table→table裡面符合Where指定條件的record→再看Select指定的是那些欄位→再根據那個欄位進行排序。 ※ 使⽤⽅
Thumbnail
※ 為什麼選擇SQLite? 安裝簡單:SQLite是一個零配置的資料庫,不需要複雜的設定和安裝過程。。 使用SQL語法。 設計選擇多元性(MySQL / SQLite):適合於小零件資料應用、嵌入式系統、物聯網設備。 ※ SQLite四大優點: 執行檔檔案很小:資料庫系統需要的磁碟空
Thumbnail
※ 為什麼選擇SQLite? 安裝簡單:SQLite是一個零配置的資料庫,不需要複雜的設定和安裝過程。。 使用SQL語法。 設計選擇多元性(MySQL / SQLite):適合於小零件資料應用、嵌入式系統、物聯網設備。 ※ SQLite四大優點: 執行檔檔案很小:資料庫系統需要的磁碟空
Thumbnail
這篇文章主要是介紹了SQL查詢效能調校的方法,針對索引最佳化做了整理和分享,並提供了一些注意事項和建議。
Thumbnail
這篇文章主要是介紹了SQL查詢效能調校的方法,針對索引最佳化做了整理和分享,並提供了一些注意事項和建議。
Thumbnail
Professional Cloud Database Engineer 考試/資源/心得整理 |Google Cloud
Thumbnail
Professional Cloud Database Engineer 考試/資源/心得整理 |Google Cloud
Thumbnail
在數位的時代裡,電腦、手機、相機幾乎已是現代人不可或缺的生活必需品,各種3C的儲存單位也從GB來到TB,文檔、照片、影片和各式各樣的程式、APP,海量的資料佔據每個人的資料庫,混亂的資料庫不僅影響工作效率,也容易打亂思緒,那麼我們該如何開始做數位整理呢?
Thumbnail
在數位的時代裡,電腦、手機、相機幾乎已是現代人不可或缺的生活必需品,各種3C的儲存單位也從GB來到TB,文檔、照片、影片和各式各樣的程式、APP,海量的資料佔據每個人的資料庫,混亂的資料庫不僅影響工作效率,也容易打亂思緒,那麼我們該如何開始做數位整理呢?
Thumbnail
BigQuery 是 Google 推出的無伺服器資料倉儲方案,內建有查詢引擎(類似於 SQL),查詢引擎除了可以方便管理外,也能夠在短時間內對數 TB 的數據進行撈取。相較於其他的資料倉儲解決方案相比,它的成本較低,但如果你的資料量太大有可能成本還是超出你的預期
Thumbnail
BigQuery 是 Google 推出的無伺服器資料倉儲方案,內建有查詢引擎(類似於 SQL),查詢引擎除了可以方便管理外,也能夠在短時間內對數 TB 的數據進行撈取。相較於其他的資料倉儲解決方案相比,它的成本較低,但如果你的資料量太大有可能成本還是超出你的預期
Thumbnail
大數據時代下,Log的多元應用至關重要。Log生成龐大,格式各異,特別金融業需合規。探討Log廣泛應用、資訊安全、IT管理和商業決策。建立Log管理系統核心深入法規,強化IT治理、權限控管。一站式Log管理平台,確保資訊安全合規。
Thumbnail
大數據時代下,Log的多元應用至關重要。Log生成龐大,格式各異,特別金融業需合規。探討Log廣泛應用、資訊安全、IT管理和商業決策。建立Log管理系統核心深入法規,強化IT治理、權限控管。一站式Log管理平台,確保資訊安全合規。
追蹤感興趣的內容從 Google News 追蹤更多 vocus 的最新精選內容追蹤 Google News