從Computex 窺探人工智慧產業的發展
這次Computex 台北國際電腦展，舉辦的空前盛大，有許多半導體產業大老齊聚台灣，展現台廠供應鏈和全世界先進科技發展那種魚幫水，水幫魚的關係，顯示了台灣不只在地理位置上具重要意義，於全球半導體供應鏈的重要性可見一斑。本文針對GB200 NVL72伺服器 / AI PC 兩大主軸，進行一些延伸與反思，讓你能快速掌握人工智慧產業發展的現況。
GB200伺服器
本次展出的終極殺器，莫屬GB200 NVL72伺服器，裡面有72張 GB200，每一片Grace Blackwell Motherboard都有者至少4倍相對於H100的訓練速度，30倍的大語言模型推論速度，這一櫃的算力，相當於288組H100的大語言模型的訓練的訓練能力，保守估計價值超過7億台幣，有了這台的幫忙，openAI可以大幅加速超大型語言模型GPT5的訓練時程。整組機櫃彼此之間的通訊都採用好幾組高傳輸速度的光纖做互聯，確保整櫃機櫃的算力不會有任何資料傳輸瓶頸。
粗估整組機櫃的電源消耗約為1.6萬瓦到3.2萬瓦之間，如果用原有的H100要達到同樣的算力，需要約25倍的電力，此次的GB200相對於H100，顯得既節能又高效。
華碩展現GB200伺服器的完整解決方案，使用一整櫃的伴隨水冷交換器來對旁邊的GB200伺服器進行降溫，GB200 NVL72價值粗估至少7億台幣。
數量非常多的高速傳輸光纖，用來溝通不同機櫃位置的GB200資料訊號，使之能即時資料同步，避免形成計算上的瓶頸
GB200模組包含了1X Grace CPU，和2X Blackwell GPU，使用第五代NVLink相互溝通連接，可以看到超高速訊號每隔一段距離就需要中繼元件把訊號品質維持住
AIPC
本次展出的AIPC，裡面使用的晶片主要是AMD Ryzen AI 300系列，有著50TOPs的NPU AI加速算力，不過現場沒有能夠使用NPU算力來進行Demo的應用，多數應用展示仍使用RTX4080來做計算，這顯示AI PC的概念，與微軟的CoPilot Plus，仍處於相當早期的階段，要能夠達成實質上的生產力提升，需善用NPU，持續精進AI模型在筆電上進行邊緣運算的可用性。至於高通的Snapdragon X系列，現場也有展出，但也是無法從現場的體驗中理解目前AI PC的實際應用。
AI PC 筆電
心得感想:
整個AI產業在硬體方面由NVIDIA扮演火車頭，在軟體開發方面則是openAI，其他廠商借由這個主題，搭上順風車，使得股價與融資瞬間變得非常容易，但是整個AI與實質生產力之間的關係，仍然沒有實質落地，屬於早期"預售"的概念。AI應用常常伴隨著龐大的算力支出，需要有密切的軟硬整合，才有辦法在移動裝置上面順暢的運行。
至於GB200方面，相信科技巨頭們都會需要去購買，用以進行軍備競賽，同時開發自家的HPC加速運算硬體，逐步減輕對於NVIDIA的依賴，這樣總體運營成本才得以最佳化，風險也才能夠大幅度的降低，此次黃仁勳來台，鞏固台灣供應商的地位，確認了產能無虞，相信不久，GB200伺服器就能送到科技巨頭的手中，開發下一世代的AI大模型。
引用:
@article{
author = {Jeng-Ting, Chen},
title = {從Computex 窺探人工智慧產業的發展},
year = {2024},
url = {https://vocus.cc/article/6664556bfd8978000123a4f6},
timestamp = {Sat, 09 JUN 2024 08:26:40 +0800},
}
