NVIDIA GB200 NVL72

NVIDIA GB200 NVL72 是一款專為資料中心設計的高效能人工智慧（AI）伺服器機架。它結合了 36 顆 Grace CPU 和 72 顆 Blackwell GPU，透過液冷技術實現高效能與高能源效率。

主要特點包括：

• 即時大型語言模型（LLM）推論：相較於前代 H100 GPU，GB200 NVL72 在處理兆級參數的 LLM 推論時，速度提升達 30 倍。
• 大規模訓練：配備第二代 Transformer 引擎，支援 FP8 精度，使大型語言模型的訓練速度提升 4 倍。
• 能源效率：採用液冷設計，與 H100 基礎架構相比，能源效率提升 25 倍，並減少資料中心的碳足跡。
• 資料處理：利用高頻寬記憶體效能和專用解壓縮引擎，資料庫查詢速度提升至傳統 CPU 的 18 倍。

GB200 NVL72 的設計旨在滿足生成式 AI 和高效能運算（HPC）工作負載的需求，提供卓越的推論和訓練效能，同時降低能源消耗。

機架是甚麼？

機架（英語：Rack）是一種專為存放和安裝電子設備設計的框架或結構，常見於資料中心、伺服器機房或通訊設施中。以下是機架的詳細說明：

1. 基本概念

• 標準化設計：機架是一個標準化的結構，用於垂直安裝伺服器、網路設備、儲存裝置等 IT 硬體。
• 尺寸標準：
• • 常見機架遵循 19 吋機架標準（寬度為 19 英吋，約 48.26 公分）。
  • 機架高度以「U」（單位高度，約 1.75 英吋或 4.445 公分）為單位表示，例如一個 42U 的機架可以容納 42 個 1U 高度的設備。

2. 機架的結構

• 框架：通常是金屬製的四柱或六柱結構，提供堅固的支撐。
• 安裝軌道：內部有可調節的軌道，用於固定伺服器或其他硬體設備。
• 通風和散熱：設計考量通風和散熱效率，有些配備冷卻風扇或液冷系統。
• 門與側板：前後通常配備網狀門（提升散熱效果）和可移除的側板。

3. 應用範圍

• 資料中心：集中安裝大量伺服器和網路設備，節省空間並方便管理。
• 通訊設施：安置路由器、交換機等網路設備。
• 企業 IT 基礎設施：組織內部的伺服器機房通常採用機架來安裝硬體。

4. 機架的優點

• 節省空間：垂直堆疊硬體設備，提升空間利用率。
• 設備保護：機架設計穩固，可減少設備損壞風險。
• 易於管理：標準化的設計讓設備安裝、電纜管理更有條理。
• 散熱效能高：專門設計的通風結構有助於設備散熱，降低過熱風險。

5. 與伺服器機架的關係

伺服器機架是指用於安裝和固定伺服器的特定類型機架。NVIDIA GB200 NVL72 就是設置於這類機架中的高效能伺服器，機架提供了以下功能：

• 支援液冷系統，提升冷卻效能。
• 垂直堆疊 GPU、CPU 等硬體，便於高密度運算。
• 為 AI 和 HPC（高效能運算）應用提供穩定的運行環境。

機架在現代 IT 基礎設施中至關重要，是硬體部署和管理的核心組件之一。

伺服器機架和伺服器是不同的概念，但它們有密切的關聯。以下從定義、結構、功能等方面進行比較，幫助理解兩者的區別與聯繫：

1. 定義

• 伺服器機架：
• • 是用來安裝和固定伺服器的框架或結構。
  • 它是一個硬體設備的「容器」，通常設置於資料中心或伺服器機房中。
  • 提供整齊的空間管理，並協助設備的散熱與供電。
• 伺服器：
• • 是一種具備計算能力的電腦設備，專門用來處理和提供網路上的服務（如網站託管、數據存取、應用運行等）。
  • 它是機架中的實際運算設備。

2. 功能

• 伺服器機架的功能：
• • 為伺服器和其他 IT 設備（如路由器、交換機、儲存設備）提供結構支持。
  • 協助散熱管理（有些配備冷卻系統，例如液冷）。
  • 優化空間利用率，允許多個設備垂直安裝。
• 伺服器的功能：
• • 提供計算、數據處理和網路服務。
  • 支援各種應用，包括資料庫管理、虛擬化、人工智慧（AI）運算等。

3. 構造

• 伺服器機架：
• • 結構類似於框架，主要是用來固定設備的金屬框架。
  • 本身並不具備運算能力。
  • 以高度（U 單位）區分，例如 42U 機架可以容納多台 1U 或 2U 的伺服器。
• 伺服器：
• • 是一台電腦設備，內部包含 CPU、GPU、RAM、儲存設備（如硬碟或 SSD）等硬體。
  • 通常設計為「機架式伺服器」以適應標準化機架，也有「塔式伺服器」或「刀片式伺服器」。

4. 形態與例子

• 伺服器機架：
• • 就像書架，用來放置書本（伺服器）。
  • 常見例子：Dell EMC Racks、HPE Racks、NVIDIA GB200 NVL72 所使用的機架。
• 伺服器：
• • 是真正負責執行任務的設備。
  • 常見例子：Dell PowerEdge R740、HPE ProLiant DL380、NVIDIA DGX 系列伺服器。

5. 關聯性

• 伺服器通常安裝在伺服器機架中，以組織和管理多台伺服器以及相關網路設備。
• 伺服器機架提供伺服器需要的結構支持、通風散熱和電力分配。

簡單理解

• 伺服器機架是「框架」，用來放置伺服器。
• 伺服器是「運算核心」，負責提供服務。

就好比機架是書櫃，而伺服器是書櫃裡的書。兩者不能互換，但一個可以包含另一個。