GB200 NVL4應該確定將成為2H25的主角之一
比NVL72更GPU密集，之前NVL144/288/576訊息都不明確，現在正式出現在產品規劃中，HPE發佈NVL244、Dell發佈NVL144機種
每片GB200 NVL4主機板有2顆Grace CPU(無socket)+4顆Blackwell GPU(上次提到從照片看來4個GPU模組都有socket，socket數量=GPU數量)
HPE使用GB200 NVL4做成Blade Server高密集GPU機櫃HPE Cray Supercomputing EX154n Accelerator Blade，單一機櫃可達244顆Blackwell GPU(不知道為何不是72/144/288等倍數)，表示有61片GB200 NVL4主機板，2025年底前上市
Dell使用GB200 NVL4組成50U的IR7000機櫃，144顆GPU，表示有36片GB200 NVL4主機板
HPE Cray Supercomputing EX154n Accelerator Blade – To drastically reduce the time it takes to complete a supercomputing workload, the HPE Cray Supercomputing EX154n Accelerator Blade can accommodate up to 224 NVIDIA Blackwell GPUs in a single cabinet. Featuring the NVIDIA GB200 Grace Blackwell NVL4 Superchip, each accelerator blade holds four NVIDIA NVLink™-connected Blackwell GPUs unified with two NVIDIA Grace CPUs over NVIDIA NVLink-C2C.
https://www.hpe.com/us/en/newsroom/press-release/2024/11/hpe-expands-direct-liquid-cooled-supercomputing-solutions-introduces-two-ai-systems-for-service-providers-and-large-enterprises.html
Dell plans to support the upcoming NVIDIA GB200 Grace Blackwell NVL4 Superchip with a new Dell PowerEdge XE server designed for the Dell IR7000, supporting up to 144 GPUs per rack in a 50OU standard rack. The IR7000 rack supports large-scale HPC and AI workloads requiring high power and liquid cooling with the ability for near 100% heat capture.
https://www.dell.com/en-us/dt/corporate/newsroom/announcements/detailpage.press-releases~usa~2024~11~dell-ai-factory.htm#/filter-on/Country:en-us
https://www.facebook.com/share/p/19du2J2mbF/
NVIDIA GB200伺服器簡介
NVIDIA GB200是一款最新的超級AI晶片，旨在滿足日益增長的AI計算需求。它結合了兩顆B200 GPU和一顆Grace CPU，並採用了先進的NVLink-C2C技術，實現高頻寬和低延遲的數據傳輸。GB200的設計標誌著AI技術進入了「兆級參數」時代，能夠處理數兆參數規模的語言模型，顯著提升了大型模型的運算性能和能源效率。主要特點
- 高效能運算：GB200的推論速度比前一代H100快30倍，並且在特定多模態任務中，其計算能力可達到H100的六倍以上。
- 能源效率：相較於H100，GB200在相同功耗下的效能提升了25倍，並採用液冷散熱系統以應對其高達2700W的功耗。
- 架構設計：GB200包含2080億個電晶體，並支持高達1.3 TB的一致性記憶體，使其能夠處理更大規模的數據集。
- 版本選擇：GB200提供兩種主要版本——NVL36和NVL72，其中NVL72是主推配置，適合大型資料中心使用。
技術優勢
- NVLink-C2C技術：此技術使得CPU和GPU之間的資料傳輸速度達到每秒900 GB，比PCIe Gen5快七倍，確保了高效穩定的資料交換。
- 液冷散熱系統：由於GB200的高功耗，其設計需要有效的冷卻系統，以降低資料中心的碳足跡和能源消耗。
- 多節點架構：GB200 NVL72配置可支持最多72顆GPU，並透過九個NVSwitches實現高帶寬、低延遲的連接，適合高度計算密集型工作負載。
應用場景GB200伺服器適用於各種AI應用，包括：
- 自然語言處理（NLP）
- 多模態應用
- 創意生成
- 科學計算
- 個性化服務
隨著AI技術的不斷發展，預計到2025年，GB200將成為全球頂尖雲端服務商（如Google、微軟、亞馬遜等）的基礎架構之一。分析師預測到2025年，GB200機架出貨量將達到4萬台，其中NVL72約1萬台，而NVL36約3萬台。總體而言，NVIDIA GB200伺服器不僅是一項技術突破，更是推動AI市場應用的重要力量。
