【AI】台北國際電腦展的NVIDIA 開啟AI 工廠新世代

【靜思】人形機器人若要四處蹦蹦跳跳 ,那要背多重的電池啊 ? 作秀表演個幾分鐘還行 !

若真要上路搬磚打仗,需拉電線? 自帶發電機?

難怪黃仁勳說人形機器人滿世界跑是百年後的事,大家別想太多!

先把AI伺服器省電化及微型化,再談人型機器人吧!

NVIDIA 輝達CEO黃仁勳，於台北COMPUTEC 2024展開幕前的6/3晚間，在台大體育館發表主題演講，演講中秀出了GB200 NVL72伺服器成品，正式開啟人形機器人與AI 工廠的工業革命世代。而其中的GB200  Grace Blackwell 超級晶片是GB200 NVL72伺服器的關鍵元件,更可視為開啟AI工業時代的鑰匙。。

【TIPS】完整演講視頻可至YT點閱:

https://www.youtube.com/watch?v=pKXDVsWZmUU&t=33s

●GB200  Grace Blackwell 超級晶片

GB200 是由 2個B100 及1個Grace CPU組成其間是透過900GB/s 超低功耗 NVLink 將兩個 B200 GPU 連接到 NVIDIA CPU。

B200 晶片可搭載 8 顆 HBM3e 記憶體，總容量將達到 192GB，且擁有 2,080 億個電晶體，是前一代 H100 晶片的 2.6 倍。

Blackwell 系列有三個主要變體：旗艦 B200 加速器、GB200 Grace Blackwell Superchip 和較低級別的 B100 加速器。每種型號都針對不同的效能和功耗需求，其中 GB200 代表了 Blackwell 功能的頂峰。

●GB200組成的GB200 NVL72伺服器

GB200 是NVIDIA GB200 NVL72的基本元件，NVIDIA GB200 NVL72 是一種多節點、液冷、機架規模系統，透過第五代 NVLink 互連 72 個 Blackwell GPU 和 36 個 Grace CPU。

以下是 NVLink Switch 4 晶片的放大圖：

該晶片擁有 500 億個電晶體，採用與 Blackwell GPU 相同的台積電 4NP 製程。

【TIPS】

✱黃仁勳在台北2024 COMPUTEX展場上宣布將贈送台灣第2部 NVIDIA 超級電腦 Taipei-1 (為64櫃伺服器=4608顆 GPU)

✱GB200 = 2個B100+1個Grace CPU。

  -GH200 = 1個H100+1個Grace CPU。

✱36個GB200 = GB200 NVL72(共有72顆GPU、實際上有144顆B100)。

  -32個GH200 = GH200 DGX(共有32顆H100)。

✱DGX B200，為8顆B200，每個B200 是由2個B100組成

  -DGX H100，為8顆H100

✱GB200，一個伺服器機櫃 共有144顆B100 -GH200，一個伺服器機櫃 共有32顆H100， GB200在GPU數量上提升4.5倍，加上每一個B100的效率比H100多30%，整體效能大約提升5倍。

✱Blackwell Transformer Engine，實現FP4(4位元浮點)的AI訓練或推論，讓模型的效能加倍，同時保持高精確性。

●Blackwell 創新推動加速運算和生成式 AI

Blackwell 的六項革命性技術共同支援高達 10 兆參數的模型的 AI 訓練和即時 LLM 推理，包括：

1.世界上最強大的晶片— Blackwell 架構GPU 包含2080 億個電晶體，採用客製化的4NP TSMC 製程製造，具有兩個十字線極限GPU 晶片，透過10 TB/秒的晶片到晶片鏈路連接成單一統一的GPU 。

2.第二代 Transformer 引擎— 在新的微張量縮放支援和整合到NVIDIA TensorRT™-LLM 和NeMo Megatron 框架中的NVIDIA 先進動態範圍管理演算法的推動下，Blackwell 將透過新的4 位浮點AI 支援雙倍的計算和模型大小推理能力。

3.第五代 NVLink — 為了加速數萬億參數和混合專家AI 模型的性能，最新迭代的NVIDIA NVLink® 為每個GPU 提供了突破性的1.8TB/s 雙向吞吐量，確保多達576 個GPU 之間的無縫高速通訊對於最複雜的法學碩士。

4.RAS 引擎— Blackwell 支援的 GPU 包含一個專用引擎，可實現可靠性、可用性和可服務性。此外，Blackwell 架構還增加了晶片級功能，利用基於人工智慧的預防性維護來運行診斷和預測可靠性問題。這可以最大限度地延長系統正常運行時間並提高大規模人工智慧部署的彈性，使其能夠連續運行數週甚至數月，並降低營運成本。

5.安全人工智慧—先進的機密運算功能可在不影響效能的情況下保護人工智慧模型和客戶數據，並支援新的本機介面加密協議，這對於醫療保健和金融服務等隱私敏感行業至關重要。

6.解壓縮引擎- 專用解壓縮引擎支援最新格式，加速資料庫查詢，以提供資料分析和資料科學的最高效能。未來幾年，公司每年花費數百億美元的資料處理將越來越多地由 GPU 加速。

●人形機器人與AI工廠

GB200NVL72伺服器所組成的AI 工廠，是透過使用輝達的Omniverse平台和AI套件工具，整合西門子（Siemens AG）數位孿生（digital twin）技術、工廠自動化業務組合和工業軟體和AI技術，打造生成式AI機器人工廠，藉此強化廠房布局和生產線配置，其中使用輝達驅動的視覺AI技術，掌握AI工廠營運。

根據黃仁勳在演講現場播出的展示影片，比亞迪電子、德國西門子、Teradyne Robotics與美國科技巨擘Alphabet旗下的Intrinsic等全球十多家機器人產業領導企業，把輝達的機器人平台NVIDIA Isaac加速函式庫、符合物理法則的模擬內容及AI模型，納入其軟體框架和機器人模型，以提高工廠、倉庫和配送中心的效率。

AI視覺軟體提供認知的、由AI驅動的功能，使工業機器人系統能自主可靠地拾取和包裝任意物品，使用者無需事先接受任何AI訓練課程。

【視頻】NVIDIA黃仁勳：這世界再也回不去！這些都可被複製

【視頻】深度解讀輝達GB200 GPU

【視頻】輝達對機器人的野心

●NVIDIA與 AMD 的競爭

在台北電腦展上，AMD 執行長蘇姿丰公布了最新的人工智慧處理器 MI325X 加速器，預計將於 2024 年第四季面世。為了與產業領導者 NVIDIA 一決高下

1. NVIDIA與 AMD 未來兩年 AI晶片的發展計畫

2.NVIDIA獨有的CUDA 軟體工具

3.NVIDIA 與 AMD 的AI晶片性能比較