從Computex 窺探人工智慧產業的發展

這次Computex 台北國際電腦展，舉辦的空前盛大，有許多半導體產業大老齊聚台灣，展現台廠供應鏈和全世界先進科技發展那種魚幫水，水幫魚的關係，顯示了台灣不只在地理位置上具重要意義，於全球半導體供應鏈的重要性可見一斑。本文針對GB200 NVL72伺服器 / AI PC 兩大主軸，進行一些延伸與反思，讓你能快速掌握人工智慧產業發展的現況。

GB200伺服器

本次展出的終極殺器，莫屬GB200 NVL72伺服器，裡面有72張 GB200，每一片Grace Blackwell Motherboard都有者至少4倍相對於H100的訓練速度，30倍的大語言模型推論速度，這一櫃的算力，相當於288組H100的大語言模型的訓練的訓練能力，保守估計價值超過7億台幣，有了這台的幫忙，openAI可以大幅加速超大型語言模型GPT5的訓練時程。整組機櫃彼此之間的通訊都採用好幾組高傳輸速度的光纖做互聯，確保整櫃機櫃的算力不會有任何資料傳輸瓶頸。

粗估整組機櫃的電源消耗約為1.6萬瓦到3.2萬瓦之間，如果用原有的H100要達到同樣的算力，需要約25倍的電力，此次的GB200相對於H100，顯得既節能又高效。

AIPC

本次展出的AIPC，裡面使用的晶片主要是AMD Ryzen AI 300系列，有著50TOPs的NPU AI加速算力，不過現場沒有能夠使用NPU算力來進行Demo的應用，多數應用展示仍使用RTX4080來做計算，這顯示AI PC的概念，與微軟的CoPilot Plus，仍處於相當早期的階段，要能夠達成實質上的生產力提升，需善用NPU，持續精進AI模型在筆電上進行邊緣運算的可用性。至於高通的Snapdragon X系列，現場也有展出，但也是無法從現場的體驗中理解目前AI PC的實際應用。

心得感想:

整個AI產業在硬體方面由NVIDIA扮演火車頭，在軟體開發方面則是openAI，其他廠商借由這個主題，搭上順風車，使得股價與融資瞬間變得非常容易，但是整個AI與實質生產力之間的關係，仍然沒有實質落地，屬於早期"預售"的概念。AI應用常常伴隨著龐大的算力支出，需要有密切的軟硬整合，才有辦法在移動裝置上面順暢的運行。

至於GB200方面，相信科技巨頭們都會需要去購買，用以進行軍備競賽，同時開發自家的HPC加速運算硬體，逐步減輕對於NVIDIA的依賴，這樣總體運營成本才得以最佳化，風險也才能夠大幅度的降低，此次黃仁勳來台，鞏固台灣供應商的地位，確認了產能無虞，相信不久，GB200伺服器就能送到科技巨頭的手中，開發下一世代的AI大模型。

引用:

@article{

  author       = {Jeng-Ting, Chen},

  title        = {從Computex 窺探人工智慧產業的發展},  

  year         = {2024},

  url          = {https://vocus.cc/article/6664556bfd8978000123a4f6},  

  timestamp    = {Sat, 09 JUN 2024 08:26:40 +0800},

}