NVIDIA H100、B200、GB200 晶片的差異與製程資訊整理

更新於 2024/11/18閱讀時間約 3 分鐘
  • 文內如有投資理財相關經驗、知識、資訊等內容,皆為創作者個人分享行為。
  • 有價證券、指數與衍生性商品之數據資料,僅供輔助說明之用,不代表創作者投資決策之推介及建議。
  • 閱讀同時,請審慎思考自身條件及自我決策,並應有為決策負責之事前認知。
  • 方格子希望您能從這些分享內容汲取投資養份,養成獨立思考的能力、判斷、行動,成就最適合您的投資理財模式。

H100

  1. 架構:Hopper 架構(針對 AI 訓練與推理的 GPU)。
  2. 製程:台積電 4nm 製程。
  3. 電晶體數量:約 800 億
  4. 記憶體
    • 支援 HBM3 記憶體,容量最大達 80GB。
  5. 設計:單一晶片(非 Chiplet)。
  6. 主要應用
    • AI 訓練與推理。
    • 高效能運算(HPC)。
  7. 技術特點
    • 支援 NVLink,實現晶片間高速連接。
    • 適合資料中心運算。

B200

  1. 架構:Blackwell 架構(H100 的進化版)。
  2. 製程:台積電 4nm 製程。
  3. 電晶體數量:約 2,080 億(H100 的 2.6 倍)。
  4. 記憶體
    • 支援 HBM3e 記憶體,容量最大達 192GB。
  5. 設計Chiplet(多晶片組),通過 NVLink-HBI 技術提升互聯性能,傳輸速度高達 10TB/s
  6. 主要應用
    • 大型語言模型(LLM)訓練與推理。
    • 超高效能運算需求。
  7. 技術特點
    • 整體性能顯著提升,適合更複雜和大規模的 AI 訓練場景。
    • 更優化的能效比。

GB200

  1. 架構:Grace Hopper 超算設計(Grace CPU + Blackwell GPU 整合)。
  2. 製程:台積電 4nm 製程。
  3. 設計
    • 由 B200 GPU 和 Grace CPU 集成而成。
    • 採用 NVLink-C2C 技術,實現 CPU 和 GPU 高速互聯。
  4. 記憶體
    • 支援 HBM3 記憶體和 LPDDR5,提供超高頻寬。
  5. 主要應用
    • 即時推理、訓練大型語言模型(LLM)。
    • 超算與高效能數據處理需求。
  6. 技術特點
    • CPU 與 GPU 的深度整合適合複雜的 HPC 和 AI 工作負載。
    • 優化整體性能和功耗。
raw-image

關鍵差異總結

  1. H100:單晶片設計,適合 AI 和 HPC 工作。
  2. B200:採用 Chiplet 設計,性能大幅提升,支援更高級的 AI 訓練需求。
  3. GB200:結合 CPU 和 GPU,專注於超算和複雜的 AI 應用。

三者之間最大的差異在於設計架構、記憶體技術以及目標應用場景。

avatar-img
1會員
209內容數
留言0
查看全部
avatar-img
發表第一個留言支持創作者!
DA的美股日記 的其他內容
CUDA Core(通用計算單元) 是 NVIDIA GPU(圖形處理器)中的基本計算單元,專門設計用來執行並行計算任務。它們是 NVIDIA CUDA 平台的核心部分,用來處理圖形渲染和一般計算任務,特別是那些需要大規模數據運算的應用,例如遊戲圖形、科學模擬和人工智慧(AI)。 1. CUD
Tensor Core 不是一個獨立的晶片,而是一個 GPU 內部的專用硬體單元(硬體模塊),專為加速矩陣運算(特別是人工智慧中的深度學習任務)設計。 1. Tensor Core 是什麼? Tensor Core 是 NVIDIA 在 GPU 中設計的一種「小單位」,專門處理 矩陣乘法與累加
1. 什麼是浮點數? 浮點數是一種用來表示小數或非常大的數字的方法。 它的作用是讓電腦能夠處理像 3.14159(圓周率)或 1234567890(很大的數字)這樣的數字。 為什麼要有浮點數? 👉 因為用電腦表示這些數字的時候,記憶體有限,直接儲存會很浪費空間,效率也低。 2.
**浮點數(Floating Point, FP)**的概念最早可以追溯到20世紀初,但它在現代計算中的應用則是在電腦科學發展的中期開始逐漸普及。 1. 浮點數的起源 早期數值表示: 在 20 世紀初,數值運算主要依賴定點數(Fixed Point)表示法,這種方式限制了數值的範圍和精度,尤
FP8 精度是一種浮點數表示格式,代表了 8-bit 浮點數。它是最新引入的數值精度形式,主要用於深度學習中的 AI 訓練和推論,旨在在性能與數據精度之間取得更好的平衡。 1. FP8 精度的基本概念 浮點數表示格式: 浮點數是一種數據表示方式,分為 符號位、指數位 和 尾數位。FP8 格式的
NVIDIA 在人工智慧(AI)領域推出了多款專用晶片,以下是主要的 AI 晶片系列: Tesla 系列: Tesla V100: 基於 Volta 架構,配備 640 個 Tensor Core,專為深度學習訓練和高效能運算設計。 A100 系列: A100: 基於 Ampere 架構,擁
CUDA Core(通用計算單元) 是 NVIDIA GPU(圖形處理器)中的基本計算單元,專門設計用來執行並行計算任務。它們是 NVIDIA CUDA 平台的核心部分,用來處理圖形渲染和一般計算任務,特別是那些需要大規模數據運算的應用,例如遊戲圖形、科學模擬和人工智慧(AI)。 1. CUD
Tensor Core 不是一個獨立的晶片,而是一個 GPU 內部的專用硬體單元(硬體模塊),專為加速矩陣運算(特別是人工智慧中的深度學習任務)設計。 1. Tensor Core 是什麼? Tensor Core 是 NVIDIA 在 GPU 中設計的一種「小單位」,專門處理 矩陣乘法與累加
1. 什麼是浮點數? 浮點數是一種用來表示小數或非常大的數字的方法。 它的作用是讓電腦能夠處理像 3.14159(圓周率)或 1234567890(很大的數字)這樣的數字。 為什麼要有浮點數? 👉 因為用電腦表示這些數字的時候,記憶體有限,直接儲存會很浪費空間,效率也低。 2.
**浮點數(Floating Point, FP)**的概念最早可以追溯到20世紀初,但它在現代計算中的應用則是在電腦科學發展的中期開始逐漸普及。 1. 浮點數的起源 早期數值表示: 在 20 世紀初,數值運算主要依賴定點數(Fixed Point)表示法,這種方式限制了數值的範圍和精度,尤
FP8 精度是一種浮點數表示格式,代表了 8-bit 浮點數。它是最新引入的數值精度形式,主要用於深度學習中的 AI 訓練和推論,旨在在性能與數據精度之間取得更好的平衡。 1. FP8 精度的基本概念 浮點數表示格式: 浮點數是一種數據表示方式,分為 符號位、指數位 和 尾數位。FP8 格式的
NVIDIA 在人工智慧(AI)領域推出了多款專用晶片,以下是主要的 AI 晶片系列: Tesla 系列: Tesla V100: 基於 Volta 架構,配備 640 個 Tensor Core,專為深度學習訓練和高效能運算設計。 A100 系列: A100: 基於 Ampere 架構,擁
你可能也想看
Google News 追蹤
Thumbnail
*合作聲明與警語: 本文係由國泰世華銀行邀稿。 證券服務係由國泰世華銀行辦理共同行銷證券經紀開戶業務,定期定額(股)服務由國泰綜合證券提供。   剛出社會的時候,很常在各種 Podcast 或 YouTube 甚至是在朋友間聊天,都會聽到各種市場動態、理財話題,像是:聯準會降息或是近期哪些科
Thumbnail
隨著近年來的AI浪潮,讓大家普遍對於AI後續的發展充滿了期待。今年所舉辦的台北電腦展 (Computex),讓這樣的相關的討論更加熱烈。有在投資的讀者們或多或少都會看到相關產業鏈的梳理,像是AI伺服器需要什麼奈米的晶圓製程、需要那些先進封裝測試技術、需要什麼樣的水冷技術、哪些的OEM廠 (O
Thumbnail
每個月其實登錄市場的公司不少,但小火車沒有興趣的,就不會花時間撰文,有興趣的就會特別撰文分享。 晶片大廠輝達(NVIDIA)執行長黃仁勳3月18日在輝達GTC技術大會現場展示具備生成式AI功能的人形機器人,同時發布新一代AI晶片Blackwell B200 GPU,預告更聰明、反應更快
Thumbnail
NVIDIA(英偉達)作為全球領先的圖形處理器(GPU)製造商,不僅在遊戲市場佔有重要地位,還在專業圖形和高性能計算領域擁有強大的產品線。
Thumbnail
NVIDIA的新目標是成為支援企業開發AI應用程式的「AI晶圓代工」,提供技術、專業知識和基礎設施,幫助實現AI應用。具體而言,NVIDIA將提供GPU、自主CPU「Grace」、超級計算機及其硬體,還有軟體和工具,以滿足客戶需求。
Thumbnail
介紹這次Computex的兩大主題,AI Server與AI PC,展現了台灣廠商強大的供應能力,隨處可見黃仁勳的簽名,展示了美國頂尖企業與台灣製造那層密不可分的夥伴關係,就讓我們一起來探索,這些尖端科技產品。
Thumbnail
隨著人工智慧技術的快速發展,生成式AI(Generative AI)時代已經來臨。在台北國際電腦展(Computex)上,NVIDIA創辦人暨執行長黃仁勳正式發布了新一代Blackwell GPU架構,標誌著這個新紀元的到來。
Thumbnail
科技巨擘聯手推進生成式AI發展 開創人工智慧新時代 在生成式人工智慧(Generative AI)的浪潮中,雲端運算龍頭AWS和晶片巨擘NVIDIA攜手合作,推出一系列革命性的基礎設施、軟體和服務。
Thumbnail
NVIDIA 輝達CEO黃仁勳,於台北COMPUTEC 2024展開幕前的6/3晚間,在台大體育館發表主題演講,演講中秀出了GB200 NVL72伺服器成品,正式開啟人形機器人與AI 工廠的工業革命世代。而其中的GB200  Grace Blackwell 超級晶片是GB200 NVL72伺服器
Thumbnail
根據高盛最近的研究報告,未來的個人電腦和移動設備將搭載更多由AI增強後的應用程式,如AI增強、安全性提升和運算能力強化。 消費性電子股票組合<GSXUPCAI>也顯示出潛力,並列出了成分股以及其權重。
Thumbnail
NVIDIA 黃仁勳 - AI人工智慧時代如何帶動全球新產業革命(個人紀錄用) 🇺🇸Omniverse 就是未來集大成,而加速運算、人工智慧就是兩個最重要的技術核心 🇺🇸CPU效能的擴充速度正在大幅降低,提出「運算通膨」概念
Thumbnail
*合作聲明與警語: 本文係由國泰世華銀行邀稿。 證券服務係由國泰世華銀行辦理共同行銷證券經紀開戶業務,定期定額(股)服務由國泰綜合證券提供。   剛出社會的時候,很常在各種 Podcast 或 YouTube 甚至是在朋友間聊天,都會聽到各種市場動態、理財話題,像是:聯準會降息或是近期哪些科
Thumbnail
隨著近年來的AI浪潮,讓大家普遍對於AI後續的發展充滿了期待。今年所舉辦的台北電腦展 (Computex),讓這樣的相關的討論更加熱烈。有在投資的讀者們或多或少都會看到相關產業鏈的梳理,像是AI伺服器需要什麼奈米的晶圓製程、需要那些先進封裝測試技術、需要什麼樣的水冷技術、哪些的OEM廠 (O
Thumbnail
每個月其實登錄市場的公司不少,但小火車沒有興趣的,就不會花時間撰文,有興趣的就會特別撰文分享。 晶片大廠輝達(NVIDIA)執行長黃仁勳3月18日在輝達GTC技術大會現場展示具備生成式AI功能的人形機器人,同時發布新一代AI晶片Blackwell B200 GPU,預告更聰明、反應更快
Thumbnail
NVIDIA(英偉達)作為全球領先的圖形處理器(GPU)製造商,不僅在遊戲市場佔有重要地位,還在專業圖形和高性能計算領域擁有強大的產品線。
Thumbnail
NVIDIA的新目標是成為支援企業開發AI應用程式的「AI晶圓代工」,提供技術、專業知識和基礎設施,幫助實現AI應用。具體而言,NVIDIA將提供GPU、自主CPU「Grace」、超級計算機及其硬體,還有軟體和工具,以滿足客戶需求。
Thumbnail
介紹這次Computex的兩大主題,AI Server與AI PC,展現了台灣廠商強大的供應能力,隨處可見黃仁勳的簽名,展示了美國頂尖企業與台灣製造那層密不可分的夥伴關係,就讓我們一起來探索,這些尖端科技產品。
Thumbnail
隨著人工智慧技術的快速發展,生成式AI(Generative AI)時代已經來臨。在台北國際電腦展(Computex)上,NVIDIA創辦人暨執行長黃仁勳正式發布了新一代Blackwell GPU架構,標誌著這個新紀元的到來。
Thumbnail
科技巨擘聯手推進生成式AI發展 開創人工智慧新時代 在生成式人工智慧(Generative AI)的浪潮中,雲端運算龍頭AWS和晶片巨擘NVIDIA攜手合作,推出一系列革命性的基礎設施、軟體和服務。
Thumbnail
NVIDIA 輝達CEO黃仁勳,於台北COMPUTEC 2024展開幕前的6/3晚間,在台大體育館發表主題演講,演講中秀出了GB200 NVL72伺服器成品,正式開啟人形機器人與AI 工廠的工業革命世代。而其中的GB200  Grace Blackwell 超級晶片是GB200 NVL72伺服器
Thumbnail
根據高盛最近的研究報告,未來的個人電腦和移動設備將搭載更多由AI增強後的應用程式,如AI增強、安全性提升和運算能力強化。 消費性電子股票組合<GSXUPCAI>也顯示出潛力,並列出了成分股以及其權重。
Thumbnail
NVIDIA 黃仁勳 - AI人工智慧時代如何帶動全球新產業革命(個人紀錄用) 🇺🇸Omniverse 就是未來集大成,而加速運算、人工智慧就是兩個最重要的技術核心 🇺🇸CPU效能的擴充速度正在大幅降低,提出「運算通膨」概念