HBM (High Bandwidth Memory) 是什麼？

更新於 2024/11/18發佈於 2024/11/18閱讀時間約 11 分鐘

投資理財內容聲明

HBM，全稱 High Bandwidth Memory（高頻寬記憶體），是一種專為高性能計算設計的先進記憶體技術。它以 3D 堆疊 為核心，能夠提供極高的數據傳輸頻寬，同時降低功耗和佔用空間，成為人工智慧（AI）、高效能計算（HPC）和高端 GPU 的首選記憶體。

HBM 的核心特點

3D 堆疊設計：
- 將多層 DRAM 晶片垂直堆疊在一起，透過 TSV（Through-Silicon Via，矽通孔）技術連接每層晶片，實現高速數據傳輸。
高頻寬：
- 每層 DRAM 晶片之間的通訊距離極短，數據傳輸速度可以達到每秒數百 GB。
低功耗：
- 記憶體模組和處理器（如 GPU）之間的數據傳輸耗能更低，對比傳統 GDDR 記憶體，功耗降低約 50%。
緊密集成：
- HBM 記憶體直接堆疊在 GPU 或處理器旁邊，佔用面積極小，適合空間受限的應用（如 HPC、AI 訓練晶片）。

HBM 的演進歷程

HBM 技術從 2013 年推出至今，已經歷多次演進，每一代性能逐步提升：

1. HBM (第一代，2013 年)

推出廠商：SK Hynix 和 AMD（共同開發）。
關鍵技術：
- 首次採用 TSV 技術堆疊多層 DRAM 晶片。
- 單顆模組頻寬達 128GB/s。
- 每個 HBM 堆疊最大容量為 4GB。
應用：
- AMD Fury X GPU（全球首款使用 HBM 的顯示卡）。

2. HBM2 (第二代，2016 年)

推出廠商：SK Hynix、三星。
關鍵技術：
- 每層 DRAM 的容量提升，單個模組頻寬達 256GB/s（翻倍）。
- 最大容量可達 8GB（每個堆疊）。
- 支援更高層數的堆疊（最高 8 層）。
應用：
- NVIDIA Tesla P100（Pascal 架構，專為 HPC 設計）。
- AMD Vega GPU（消費級市場使用 HBM2）。
- AI 和 HPC 晶片逐步採用 HBM2。

3. HBM2E (第三代，2018 年)

推出廠商：三星、SK Hynix。
關鍵技術：
- 在 HBM2 的基礎上進一步提升容量和頻寬。
- 單顆模組頻寬達 460GB/s，比 HBM2 提升約 80%。
- 單個堆疊的容量提升至 16GB。
應用：
- NVIDIA A100（Ampere 架構，用於 AI 訓練）。
- AMD Instinct MI100（HPC 和 AI 加速器）。

4. HBM3 (第四代，2021 年)

推出廠商：三星、SK Hynix。
關鍵技術：
- 支援更高層數堆疊（最高 12 層），單堆疊容量可達 24GB。
- 單顆模組頻寬突破 819GB/s，為 HBM2E 的兩倍。
- 更低功耗，適合更高效能的 AI 和 HPC。
應用：
- NVIDIA H100（Hopper 架構）。
- AMD Instinct MI300（CPU+GPU 整合產品）。
- Intel Ponte Vecchio（超算加速器）。

5. HBM3e (第五代，2024 年預計量產)

推出廠商：SK Hynix。
關鍵技術：
- 預計提升頻寬至 1.2TB/s（每模組），再創新高。
- 提供更大容量（單堆疊容量超過 32GB）。
- 設計針對下一代 AI 晶片和 HPC 的超高需求優化。
應用：
- 預計應用於 NVIDIA B100 晶片（Blackwell 架構）。

HBM 的主要應用領域

人工智慧（AI）：
- AI 訓練和推理需要超高頻寬和低延遲，HBM 是目前的首選。
- 代表應用：NVIDIA H100、AMD Instinct MI300。
高效能運算（HPC）：
- 超算中心需要快速處理大規模數據，HBM 提供高頻寬支持。
- 代表應用：Intel Ponte Vecchio。
顯示卡與遊戲 GPU：
- 高端顯示卡（如 AMD Vega 系列）曾經採用 HBM，雖然現已主要被 GDDR 替代，但仍是部分專業 GPU 的選擇。
伺服器與資料中心：
- 雲端伺服器的 AI 模型訓練和數據分析使用 HBM 提升效率。

單堆疊容量 是指 一個 HBM 模組內的記憶體總容量。這個容量來自多層 DRAM 晶片的垂直堆疊。

1. HBM 的結構簡單介紹

HBM（High Bandwidth Memory）是一種 3D 堆疊記憶體，每個模組由多層記憶體晶片（DRAM Die）垂直堆疊而成。

每層 DRAM 晶片有固定的容量（例如 1GB 或 2GB）。
多層 DRAM 晶片透過 TSV（Through-Silicon Via，矽通孔） 技術連接，形成一個緊密的堆疊模組。
這個完整的堆疊稱為一個 HBM 堆疊。

2. 單堆疊容量怎麼計算？

單堆疊容量由以下公式決定：單堆疊容量=每層晶片容量×堆疊層數\text{單堆疊容量} = \text{每層晶片容量} \times \text{堆疊層數}單堆疊容量=每層晶片容量×堆疊層數

例子

如果每層 DRAM 晶片容量是 2GB，堆疊 4 層： 2GB×4=8GB2GB \times 4 = 8GB2GB×4=8GB 單個 HBM 堆疊容量是 8GB。
如果每層 DRAM 晶片容量是 4GB，堆疊 6 層： 4GB×6=24GB4GB \times 6 = 24GB4GB×6=24GB 單個 HBM 堆疊容量是 24GB。

3. 單堆疊容量與 HBM 記憶體性能的關係

容量：單堆疊容量越大，處理器（如 GPU 或 CPU）可以同時存取更多數據，適合處理 AI 訓練或 HPC 任務。
頻寬：每個堆疊的頻寬由內部晶片層數和互聯速度決定。例如：
- HBM2 支援頻寬 256GB/s。
- HBM3 支援頻寬 819GB/s。單堆疊容量越大，頻寬需求也越高。

簡單比喻

想像 HBM 堆疊是一棟高樓，每層樓存放數據。
單堆疊容量 就是這棟樓能存放的總數據量。
如果每層樓（DRAM 晶片）能存更多東西，或者樓層數增加，這棟樓的總容量就會更大。

需要那麼大的 HBM 容量，是為了滿足以下幾個高性能應用場景的需求，這些應用需要處理大量的數據，並且需要高速度和高效能來支持：

1. 人工智慧（AI）訓練

需求原因：
- 訓練大型 AI 模型（如 GPT-4、GPT-5）需要處理海量數據和參數。
- 模型的參數量通常以十億到兆（billion to trillion）計算，這些參數需要大量記憶體來存儲和快速訪問。
需要大容量 HBM 的原因：
- 訓練數據需要在記憶體中快速調用，容量越大，數據讀取和交換越快，避免瓶頸。
- 舉例：NVIDIA H100 使用 HBM3 24GB 單堆疊，總計最多可達 192GB 記憶體，適合處理 GPT 等巨型模型。

2. 高效能運算（HPC）

需求原因：
- 超算需要進行大規模科學模擬、基因分析、氣候預測等任務。
- 這些應用需要快速處理大量數據，並保持高效能。
需要大容量 HBM 的原因：
- 模擬時需要處理數以 PB（PetaBytes）計的數據，大容量 HBM 提供快速存取和計算支持。
- 舉例：Intel Ponte Vecchio GPU 在 HPC 應用中使用多個 HBM3 堆疊來提升運算效率。

3. 即時推理

需求原因：
- 生成式 AI（如 ChatGPT）在推理時需要同時存取大量模型參數，特別是在處理多用戶請求時。
- AI 模型推理需要快速存取數據，避免延遲。
需要大容量 HBM 的原因：
- 即時推理需要將模型參數和數據同時存入 HBM，減少數據在記憶體和硬碟之間傳輸的時間。
- 舉例：Amazon 和 Google 的資料中心中使用 HBM 支持 AI 推理工作負載。

4. 3D 渲染與視覺運算

需求原因：
- 電影製作、遊戲設計和工程模擬等需要處理大量圖形數據和材質。
- 高分辨率 3D 場景渲染需要記憶體支持大量並行數據運算。
需要大容量 HBM 的原因：
- 在記憶體中存儲整個場景、材質和紋理數據，能減少存取延遲並提升渲染速度。
- 舉例：高端顯卡（如 NVIDIA Quadro 系列）使用 HBM 支持 3D 渲染。

5. 基因分析與生物信息學

需求原因：
- 基因測序、蛋白質折疊計算需要處理數據量非常龐大。
- 記憶體容量不足可能導致數據處理速度過慢。
需要大容量 HBM 的原因：
- 需要快速存取並處理高頻數據，尤其在藥物設計和生物信息學研究中。
- 舉例：超算中心的 HPC 工作負載中，使用多層 HBM 支持基因分析。

6. 雲端伺服器與資料中心

需求原因：
- 雲端服務商（如 Amazon AWS、Google Cloud）需要同時處理多個客戶的數據和計算需求。
需要大容量 HBM 的原因：
- 支持多任務並行執行，保證每個客戶的工作負載能快速完成。
- 大容量 HBM 提高記憶體帶寬，避免數據交換瓶頸。
- 舉例：NVIDIA H100 的 HBM 為大型雲端資料中心的 AI 模型提供高效能支持。