HBM 的核心特點
- 3D 堆疊設計：
- 將多層 DRAM 晶片垂直堆疊在一起，透過 TSV（Through-Silicon Via，矽通孔） 技術連接每層晶片，實現高速數據傳輸。
- 高頻寬：
- 每層 DRAM 晶片之間的通訊距離極短，數據傳輸速度可以達到 每秒數百 GB。
- 低功耗：
- 記憶體模組和處理器（如 GPU）之間的數據傳輸耗能更低，對比傳統 GDDR 記憶體，功耗降低約 50%。
- 緊密集成：
- HBM 記憶體直接堆疊在 GPU 或處理器旁邊，佔用面積極小，適合空間受限的應用（如 HPC、AI 訓練晶片）。
HBM 的演進歷程
HBM 技術從 2013 年推出至今，已經歷多次演進，每一代性能逐步提升：
1. HBM (第一代，2013 年)
- 推出廠商：SK Hynix 和 AMD（共同開發）。
- 關鍵技術：
- 首次採用 TSV 技術堆疊多層 DRAM 晶片。
- 單顆模組頻寬達 128GB/s。
- 每個 HBM 堆疊最大容量為 4GB。
- 應用：
- AMD Fury X GPU（全球首款使用 HBM 的顯示卡）。
2. HBM2 (第二代，2016 年)
- 推出廠商：SK Hynix、三星。
- 關鍵技術：
- 每層 DRAM 的容量提升，單個模組頻寬達 256GB/s（翻倍）。
- 最大容量可達 8GB（每個堆疊）。
- 支援更高層數的堆疊（最高 8 層）。
- 應用：
- NVIDIA Tesla P100（Pascal 架構，專為 HPC 設計）。
- AMD Vega GPU（消費級市場使用 HBM2）。
- AI 和 HPC 晶片逐步採用 HBM2。
3. HBM2E (第三代，2018 年)
- 推出廠商：三星、SK Hynix。
- 關鍵技術：
- 在 HBM2 的基礎上進一步提升容量和頻寬。
- 單顆模組頻寬達 460GB/s，比 HBM2 提升約 80%。
- 單個堆疊的容量提升至 16GB。
- 應用：
- NVIDIA A100（Ampere 架構，用於 AI 訓練）。
- AMD Instinct MI100（HPC 和 AI 加速器）。
4. HBM3 (第四代，2021 年)
- 推出廠商：三星、SK Hynix。
- 關鍵技術：
- 支援更高層數堆疊（最高 12 層），單堆疊容量可達 24GB。
- 單顆模組頻寬突破 819GB/s，為 HBM2E 的兩倍。
- 更低功耗，適合更高效能的 AI 和 HPC。
- 應用：
- NVIDIA H100（Hopper 架構）。
- AMD Instinct MI300（CPU+GPU 整合產品）。
- Intel Ponte Vecchio（超算加速器）。
5. HBM3e (第五代，2024 年預計量產)
- 推出廠商：SK Hynix。
- 關鍵技術：
- 預計提升頻寬至 1.2TB/s（每模組），再創新高。
- 提供更大容量（單堆疊容量超過 32GB）。
- 設計針對下一代 AI 晶片和 HPC 的超高需求優化。
- 應用：
- 預計應用於 NVIDIA B100 晶片（Blackwell 架構）。
HBM 的主要應用領域
- 人工智慧（AI）：
- AI 訓練和推理需要超高頻寬和低延遲，HBM 是目前的首選。
- 代表應用：NVIDIA H100、AMD Instinct MI300。
- 高效能運算（HPC）：
- 超算中心需要快速處理大規模數據，HBM 提供高頻寬支持。
- 代表應用：Intel Ponte Vecchio。
- 顯示卡與遊戲 GPU：
- 高端顯示卡（如 AMD Vega 系列）曾經採用 HBM，雖然現已主要被 GDDR 替代，但仍是部分專業 GPU 的選擇。
- 伺服器與資料中心：
- 雲端伺服器的 AI 模型訓練和數據分析使用 HBM 提升效率。
單堆疊容量 是指 一個 HBM 模組內的記憶體總容量。這個容量來自多層 DRAM 晶片的垂直堆疊。
1. HBM 的結構簡單介紹
HBM（High Bandwidth Memory）是一種 3D 堆疊記憶體，每個模組由多層記憶體晶片（DRAM Die）垂直堆疊而成。
- 每層 DRAM 晶片有固定的容量（例如 1GB 或 2GB）。
- 多層 DRAM 晶片透過 TSV（Through-Silicon Via，矽通孔） 技術連接，形成一個緊密的堆疊模組。
- 這個完整的堆疊稱為一個 HBM 堆疊。
2. 單堆疊容量怎麼計算？
單堆疊容量由以下公式決定： 單堆疊容量=每層晶片容量×堆疊層數\text{單堆疊容量} = \text{每層晶片容量} \times \text{堆疊層數}單堆疊容量=每層晶片容量×堆疊層數
例子
- 如果每層 DRAM 晶片容量是 2GB，堆疊 4 層： 2GB×4=8GB2GB \times 4 = 8GB2GB×4=8GB 單個 HBM 堆疊容量是 8GB。
- 如果每層 DRAM 晶片容量是 4GB，堆疊 6 層： 4GB×6=24GB4GB \times 6 = 24GB4GB×6=24GB 單個 HBM 堆疊容量是 24GB。
3. 單堆疊容量與 HBM 記憶體性能的關係
- 容量： 單堆疊容量越大，處理器（如 GPU 或 CPU）可以同時存取更多數據，適合處理 AI 訓練或 HPC 任務。
- 頻寬： 每個堆疊的頻寬由內部晶片層數和互聯速度決定。例如：
- HBM2 支援頻寬 256GB/s。
- HBM3 支援頻寬 819GB/s。 單堆疊容量越大，頻寬需求也越高。
簡單比喻
- 想像 HBM 堆疊是一棟高樓，每層樓存放數據。
- 單堆疊容量 就是這棟樓能存放的總數據量。
- 如果每層樓（DRAM 晶片）能存更多東西，或者樓層數增加，這棟樓的總容量就會更大。
需要那麼大的 HBM 容量，是為了滿足以下幾個高性能應用場景的需求，這些應用需要處理大量的數據，並且需要高速度和高效能來支持：
1. 人工智慧（AI）訓練
- 需求原因：
- 訓練大型 AI 模型（如 GPT-4、GPT-5）需要處理海量數據和參數。
- 模型的參數量通常以 十億到兆（billion to trillion）計算，這些參數需要大量記憶體來存儲和快速訪問。
- 需要大容量 HBM 的原因：
- 訓練數據需要在記憶體中快速調用，容量越大，數據讀取和交換越快，避免瓶頸。
- 舉例：NVIDIA H100 使用 HBM3 24GB 單堆疊，總計最多可達 192GB 記憶體，適合處理 GPT 等巨型模型。
2. 高效能運算（HPC）
- 需求原因：
- 超算需要進行大規模科學模擬、基因分析、氣候預測等任務。
- 這些應用需要快速處理大量數據，並保持高效能。
- 需要大容量 HBM 的原因：
- 模擬時需要處理數以 PB（PetaBytes） 計的數據，大容量 HBM 提供快速存取和計算支持。
- 舉例：Intel Ponte Vecchio GPU 在 HPC 應用中使用多個 HBM3 堆疊來提升運算效率。
3. 即時推理
- 需求原因：
- 生成式 AI（如 ChatGPT）在推理時需要同時存取大量模型參數，特別是在處理多用戶請求時。
- AI 模型推理需要快速存取數據，避免延遲。
- 需要大容量 HBM 的原因：
- 即時推理需要將模型參數和數據同時存入 HBM，減少數據在記憶體和硬碟之間傳輸的時間。
- 舉例：Amazon 和 Google 的資料中心中使用 HBM 支持 AI 推理工作負載。
4. 3D 渲染與視覺運算
- 需求原因：
- 電影製作、遊戲設計和工程模擬等需要處理大量圖形數據和材質。
- 高分辨率 3D 場景渲染需要記憶體支持大量並行數據運算。
- 需要大容量 HBM 的原因：
- 在記憶體中存儲整個場景、材質和紋理數據，能減少存取延遲並提升渲染速度。
- 舉例：高端顯卡（如 NVIDIA Quadro 系列）使用 HBM 支持 3D 渲染。
5. 基因分析與生物信息學
- 需求原因：
- 基因測序、蛋白質折疊計算需要處理數據量非常龐大。
- 記憶體容量不足可能導致數據處理速度過慢。
- 需要大容量 HBM 的原因：
- 需要快速存取並處理高頻數據，尤其在藥物設計和生物信息學研究中。
- 舉例：超算中心的 HPC 工作負載中，使用多層 HBM 支持基因分析。
6. 雲端伺服器與資料中心
- 需求原因：
- 雲端服務商（如 Amazon AWS、Google Cloud）需要同時處理多個客戶的數據和計算需求。
- 需要大容量 HBM 的原因：
- 支持多任務並行執行，保證每個客戶的工作負載能快速完成。
- 大容量 HBM 提高記憶體帶寬，避免數據交換瓶頸。
- 舉例：NVIDIA H100 的 HBM 為大型雲端資料中心的 AI 模型提供高效能支持。
7. 自動駕駛與邊緣計算
- 需求原因：
- 自動駕駛汽車需要處理來自多個感測器（攝像頭、雷達、LIDAR）的數據，同時進行即時分析和決策。
- 需要大容量 HBM 的原因：
- 感測器數據流量非常大，HBM 可以將數據緊密存儲並快速處理。
- 舉例：NVIDIA Orin 平台在自動駕駛中使用高帶寬記憶體來提升計算能力。
簡單比喻
- 如果把 HBM 比作辦公桌，容量越大的辦公桌能同時放下更多的檔案：
- 小容量記憶體：需要頻繁從檔案櫃（硬碟）來回搬資料，效率低。
- 大容量 HBM：能一次性放下整個檔案，所有檔案都在手邊，工作更快。
總結
需要大容量 HBM 是因為現代應用（特別是 AI 和 HPC）需要：
- 同時處理大量數據。
- 確保數據訪問速度快，減少延遲。
- 支持高效能、並行計算。
隨著 AI 模型和計算需求的增長，HBM 的大容量和高頻寬特性會變得越來越重要。
