這次Computex 台北國際電腦展,舉辦的空前盛大,有許多半導體產業大老齊聚台灣,展現台廠供應鏈和全世界先進科技發展那種魚幫水,水幫魚的關係,顯示了台灣不只在地理位置上具重要意義,於全球半導體供應鏈的重要性可見一斑。本文針對GB200 NVL72伺服器 / AI PC 兩大主軸,進行一些延伸與反思,讓你能快速掌握人工智慧產業發展的現況。
本次展出的終極殺器,莫屬GB200 NVL72伺服器,裡面有72張 GB200,每一片Grace Blackwell Motherboard都有者至少4倍相對於H100的訓練速度,30倍的大語言模型推論速度,這一櫃的算力,相當於288組H100的大語言模型的訓練的訓練能力,保守估計價值超過7億台幣,有了這台的幫忙,openAI可以大幅加速超大型語言模型GPT5的訓練時程。整組機櫃彼此之間的通訊都採用好幾組高傳輸速度的光纖做互聯,確保整櫃機櫃的算力不會有任何資料傳輸瓶頸。
粗估整組機櫃的電源消耗約為1.6萬瓦到3.2萬瓦之間,如果用原有的H100要達到同樣的算力,需要約25倍的電力,此次的GB200相對於H100,顯得既節能又高效。
本次展出的AIPC,裡面使用的晶片主要是AMD Ryzen AI 300系列,有著50TOPs的NPU AI加速算力,不過現場沒有能夠使用NPU算力來進行Demo的應用,多數應用展示仍使用RTX4080來做計算,這顯示AI PC的概念,與微軟的CoPilot Plus,仍處於相當早期的階段,要能夠達成實質上的生產力提升,需善用NPU,持續精進AI模型在筆電上進行邊緣運算的可用性。至於高通的Snapdragon X系列,現場也有展出,但也是無法從現場的體驗中理解目前AI PC的實際應用。
整個AI產業在硬體方面由NVIDIA扮演火車頭,在軟體開發方面則是openAI,其他廠商借由這個主題,搭上順風車,使得股價與融資瞬間變得非常容易,但是整個AI與實質生產力之間的關係,仍然沒有實質落地,屬於早期"預售"的概念。AI應用常常伴隨著龐大的算力支出,需要有密切的軟硬整合,才有辦法在移動裝置上面順暢的運行。
至於GB200方面,相信科技巨頭們都會需要去購買,用以進行軍備競賽,同時開發自家的HPC加速運算硬體,逐步減輕對於NVIDIA的依賴,這樣總體運營成本才得以最佳化,風險也才能夠大幅度的降低,此次黃仁勳來台,鞏固台灣供應商的地位,確認了產能無虞,相信不久,GB200伺服器就能送到科技巨頭的手中,開發下一世代的AI大模型。
@article{
author = {Jeng-Ting, Chen},
title = {從Computex 窺探人工智慧產業的發展},
year = {2024},
url = {https://vocus.cc/article/6664556bfd8978000123a4f6},
timestamp = {Sat, 09 JUN 2024 08:26:40 +0800},
}