從Computex 窺探人工智慧產業的發展

閱讀時間約 3 分鐘

這次Computex 台北國際電腦展,舉辦的空前盛大,有許多半導體產業大老齊聚台灣,展現台廠供應鏈和全世界先進科技發展那種魚幫水,水幫魚的關係,顯示了台灣不只在地理位置上具重要意義,於全球半導體供應鏈的重要性可見一斑。本文針對GB200 NVL72伺服器 / AI PC 兩大主軸,進行一些延伸與反思,讓你能快速掌握人工智慧產業發展的現況。

GB200伺服器

本次展出的終極殺器,莫屬GB200 NVL72伺服器,裡面有72張 GB200,每一片Grace Blackwell Motherboard都有者至少4倍相對於H100的訓練速度,30倍的大語言模型推論速度,這一櫃的算力,相當於288組H100的大語言模型的訓練的訓練能力,保守估計價值超過7億台幣,有了這台的幫忙,openAI可以大幅加速超大型語言模型GPT5的訓練時程。整組機櫃彼此之間的通訊都採用好幾組高傳輸速度的光纖做互聯,確保整櫃機櫃的算力不會有任何資料傳輸瓶頸。

粗估整組機櫃的電源消耗約為1.6萬瓦到3.2萬瓦之間,如果用原有的H100要達到同樣的算力,需要約25倍的電力,此次的GB200相對於H100,顯得既節能又高效。

華碩展現GB200伺服器的完整解決方案,使用一整櫃的伴隨水冷交換器來對旁邊的GB200伺服器進行降溫,GB200 NVL72價值粗估至少7億台幣。

華碩展現GB200伺服器的完整解決方案,使用一整櫃的伴隨水冷交換器來對旁邊的GB200伺服器進行降溫,GB200 NVL72價值粗估至少7億台幣。

數量非常多的高速傳輸光纖,用來溝通不同機櫃位置的GB200資料訊號,使之能即時資料同步,避免形成計算上的瓶頸

數量非常多的高速傳輸光纖,用來溝通不同機櫃位置的GB200資料訊號,使之能即時資料同步,避免形成計算上的瓶頸

GB200模組包含了1X Grace CPU,和2X Blackwell GPU,使用第五代NVLink相互溝通連接,可以看到超高速訊號每隔一段距離就需要中繼元件把訊號品質維持住

GB200模組包含了1X Grace CPU,和2X Blackwell GPU,使用第五代NVLink相互溝通連接,可以看到超高速訊號每隔一段距離就需要中繼元件把訊號品質維持住


AIPC

本次展出的AIPC,裡面使用的晶片主要是AMD Ryzen AI 300系列,有著50TOPs的NPU AI加速算力,不過現場沒有能夠使用NPU算力來進行Demo的應用,多數應用展示仍使用RTX4080來做計算,這顯示AI PC的概念,與微軟的CoPilot Plus,仍處於相當早期的階段,要能夠達成實質上的生產力提升,需善用NPU,持續精進AI模型在筆電上進行邊緣運算的可用性。至於高通的Snapdragon X系列,現場也有展出,但也是無法從現場的體驗中理解目前AI PC的實際應用。

AI PC 筆電

AI PC 筆電

心得感想:

整個AI產業在硬體方面由NVIDIA扮演火車頭,在軟體開發方面則是openAI,其他廠商借由這個主題,搭上順風車,使得股價與融資瞬間變得非常容易,但是整個AI與實質生產力之間的關係,仍然沒有實質落地,屬於早期"預售"的概念。AI應用常常伴隨著龐大的算力支出,需要有密切的軟硬整合,才有辦法在移動裝置上面順暢的運行。

至於GB200方面,相信科技巨頭們都會需要去購買,用以進行軍備競賽,同時開發自家的HPC加速運算硬體,逐步減輕對於NVIDIA的依賴,這樣總體運營成本才得以最佳化,風險也才能夠大幅度的降低,此次黃仁勳來台,鞏固台灣供應商的地位,確認了產能無虞,相信不久,GB200伺服器就能送到科技巨頭的手中,開發下一世代的AI大模型。

引用:

@article{

author = {Jeng-Ting, Chen},

title = {從Computex 窺探人工智慧產業的發展},

year = {2024},

url = {https://vocus.cc/article/6664556bfd8978000123a4f6},

timestamp = {Sat, 09 JUN 2024 08:26:40 +0800},

}
96會員
128內容數
帶你用上帝視角,針對市面上具有高度價值的影片/論文/書籍,用東方取象,與西方邏輯辯證的角度同時出發,跟著我一起來探討宇宙萬事萬物的本質,隨時隨地都可以來一場說走就走的思維旅行。作者在台積電 / 聯發科等科技產業有累計10年的資歷,近期對於人工智慧,東方易經,西方辯證邏輯,還有佛法向內求有深度興趣。
留言0
查看全部
發表第一個留言支持創作者!
這段時間大量的人工智慧應用湧現,有人驚嘆,有人欣賞,有人恐懼,有人忌妒,結合這段日子以來對社會方方面面的觀察,總結出新時代必勝心法,贈予有緣人。
隨著人工智慧高速發展,許多重複單調的工作,以肉眼可及的速度,不斷的能夠被機器人取代,許多人因此活在焦慮之中,甚至認為自己該躺平。本文就是針對這個問題來的,論說人之所以為人的波瀾壯闊與慷慨激昂,冥冥之中能夠指引一條道路。
已經有不只一位讀者請教我,人工智慧是否會造成大量失業的問題,於是催生了本篇文章,這裡會從多個角度來分析這件事情。
為了避免GPT模型對人類社會造成危害,要有一個指標來評量個語言模型的資訊透明度。當有關於模型的公開訊息越多,無論是訓練資料的取得來源與資料搜集方法,還是模型細節的接露,與產生結果的限制用途與目標客群等等,都是這篇論文關心且要衡量的指標,藉由評分防止發行人工智慧的大科技公司可能造成的社會危害
這段時間大量的人工智慧應用湧現,有人驚嘆,有人欣賞,有人恐懼,有人忌妒,結合這段日子以來對社會方方面面的觀察,總結出新時代必勝心法,贈予有緣人。
隨著人工智慧高速發展,許多重複單調的工作,以肉眼可及的速度,不斷的能夠被機器人取代,許多人因此活在焦慮之中,甚至認為自己該躺平。本文就是針對這個問題來的,論說人之所以為人的波瀾壯闊與慷慨激昂,冥冥之中能夠指引一條道路。
已經有不只一位讀者請教我,人工智慧是否會造成大量失業的問題,於是催生了本篇文章,這裡會從多個角度來分析這件事情。
為了避免GPT模型對人類社會造成危害,要有一個指標來評量個語言模型的資訊透明度。當有關於模型的公開訊息越多,無論是訓練資料的取得來源與資料搜集方法,還是模型細節的接露,與產生結果的限制用途與目標客群等等,都是這篇論文關心且要衡量的指標,藉由評分防止發行人工智慧的大科技公司可能造成的社會危害
你可能也想看
Google News 追蹤
Thumbnail
接下來第二部分我們持續討論美國總統大選如何佈局, 以及選前一週到年底的操作策略建議 分析兩位候選人政策利多/ 利空的板塊和股票
Thumbnail
🤔為什麼團長的能力是死亡筆記本? 🤔為什麼像是死亡筆記本呢? 🤨作者巧思-讓妮翁死亡合理的幾個伏筆
Thumbnail
化憤怒為悲願 從願也將身捨 時也過境已遷 死生無一不得
Thumbnail
議論是來自於抱怨,從小孩到大人都會抱怨。只要在抱怨之上,增加多元觀點的檢視、分析,並提出具體建議,甚至是願景,那就搖身一變成為議論了。我請學生根據校園生活的經驗,找尋評論對象,並運用〈評論表單〉進行探討,寫出一篇議論文,包含校園活動、規定、設施、課程和人物……等幾大類,都可以從中找到評論對象。
Thumbnail
去年是我第一次聽到有所謂的「無卡分期」這件事,得知的地點正是「通訊行」。 平時沒有需求踏進通訊行的朋友可能不太會注意到,但如果有買手機或周邊商品的時候,很容易會在通訊行的牆壁上看到大大的「無卡分期」字樣。 我記得當時看到的第一個念頭是:「無卡是要怎麼分期?」 沒過多久便想到那肯
Thumbnail
流量對你來說是什麼涵意,需要先確定。是希望更多人看到你寫的文?或者,你希望流量能夠帶來廣告收入,甚至是接到業配、賣貨、聯盟行銷?還是你單純滿足於點擊數字所帶來的成就感?你需要一一剖析內心最真實的渴望,才能用最有效的方式,對症下藥。
Thumbnail
以前讀書時老師總是感嘆一代不如一代,當時被指不如上一代的我,心裏縱使不服氣,也不得不承認自己確實沒有前輩那麼用功,背字典生字那種神話注定無法在我身上復刻,博覽群書對我來說太艱苦,我只想悠哉悠哉地過日子,應付好測驗考試,順利畢業就好,雖然對未來有憧憬,但這樣的態度似乎一輩子也無法成為傑出人士。 某次
Thumbnail
其實,這過程中最痛苦的倒不是受傷或狼狽,而是發現自己徒勞無功,搞那麼久連一點屁進展都沒有,還越發搞不懂那些管線到底是怎麼連通的,甚至有越弄越糟的趨勢。本來請人來修,即便修不好可能也沒比這樣自己蠻幹還白費工、來得感覺更差,我想,這就是沉沒成本的威力吧⋯⋯
Thumbnail
最近台灣出版界掀起一股「職人書寫」的風潮,像是林立青的《做工的人》、袁非的《手槍女王》、大師兄的《你好,我是接體員》,都是根植於自身職人的經驗,所寫出的寫實之作。這樣的風潮,來自於台灣社會對於「深度看見台灣」的需求越來越高…
Thumbnail
在這個世界上,富人和窮人的差異並不僅止於財富。許多人認為,富人擁有的不僅是物質上的資源,更重要的是一種獨特的思維模式。這樣的思維使他們能夠更有效地管理資源、應對困難和持續成長。那麼,真的存在所謂的「富人思維」嗎?如果真的存在,我們如何培養它,從而打破命運的枷鎖,進入正向的財富循環?
Thumbnail
「瀏覽數」存在的意義!它不一定能代表「一篇文章寫得好與不好」,但它可能可以透過使用者的點擊,觀看一些數位時代的端倪:有些東西是歷久彌新的,有些共鳴要在對的時刻才會敲中人心!
不知道到是從什麼時候,吃飯不在兩個人一起吃! 也不想再去紀錄我們之間的點點滴滴, 爭吵也累了! 選擇沈默 嗯! 那就這樣吧! 不想面對妳 只想逃避
Thumbnail
接下來第二部分我們持續討論美國總統大選如何佈局, 以及選前一週到年底的操作策略建議 分析兩位候選人政策利多/ 利空的板塊和股票
Thumbnail
🤔為什麼團長的能力是死亡筆記本? 🤔為什麼像是死亡筆記本呢? 🤨作者巧思-讓妮翁死亡合理的幾個伏筆
Thumbnail
化憤怒為悲願 從願也將身捨 時也過境已遷 死生無一不得
Thumbnail
議論是來自於抱怨,從小孩到大人都會抱怨。只要在抱怨之上,增加多元觀點的檢視、分析,並提出具體建議,甚至是願景,那就搖身一變成為議論了。我請學生根據校園生活的經驗,找尋評論對象,並運用〈評論表單〉進行探討,寫出一篇議論文,包含校園活動、規定、設施、課程和人物……等幾大類,都可以從中找到評論對象。
Thumbnail
去年是我第一次聽到有所謂的「無卡分期」這件事,得知的地點正是「通訊行」。 平時沒有需求踏進通訊行的朋友可能不太會注意到,但如果有買手機或周邊商品的時候,很容易會在通訊行的牆壁上看到大大的「無卡分期」字樣。 我記得當時看到的第一個念頭是:「無卡是要怎麼分期?」 沒過多久便想到那肯
Thumbnail
流量對你來說是什麼涵意,需要先確定。是希望更多人看到你寫的文?或者,你希望流量能夠帶來廣告收入,甚至是接到業配、賣貨、聯盟行銷?還是你單純滿足於點擊數字所帶來的成就感?你需要一一剖析內心最真實的渴望,才能用最有效的方式,對症下藥。
Thumbnail
以前讀書時老師總是感嘆一代不如一代,當時被指不如上一代的我,心裏縱使不服氣,也不得不承認自己確實沒有前輩那麼用功,背字典生字那種神話注定無法在我身上復刻,博覽群書對我來說太艱苦,我只想悠哉悠哉地過日子,應付好測驗考試,順利畢業就好,雖然對未來有憧憬,但這樣的態度似乎一輩子也無法成為傑出人士。 某次
Thumbnail
其實,這過程中最痛苦的倒不是受傷或狼狽,而是發現自己徒勞無功,搞那麼久連一點屁進展都沒有,還越發搞不懂那些管線到底是怎麼連通的,甚至有越弄越糟的趨勢。本來請人來修,即便修不好可能也沒比這樣自己蠻幹還白費工、來得感覺更差,我想,這就是沉沒成本的威力吧⋯⋯
Thumbnail
最近台灣出版界掀起一股「職人書寫」的風潮,像是林立青的《做工的人》、袁非的《手槍女王》、大師兄的《你好,我是接體員》,都是根植於自身職人的經驗,所寫出的寫實之作。這樣的風潮,來自於台灣社會對於「深度看見台灣」的需求越來越高…
Thumbnail
在這個世界上,富人和窮人的差異並不僅止於財富。許多人認為,富人擁有的不僅是物質上的資源,更重要的是一種獨特的思維模式。這樣的思維使他們能夠更有效地管理資源、應對困難和持續成長。那麼,真的存在所謂的「富人思維」嗎?如果真的存在,我們如何培養它,從而打破命運的枷鎖,進入正向的財富循環?
Thumbnail
「瀏覽數」存在的意義!它不一定能代表「一篇文章寫得好與不好」,但它可能可以透過使用者的點擊,觀看一些數位時代的端倪:有些東西是歷久彌新的,有些共鳴要在對的時刻才會敲中人心!
不知道到是從什麼時候,吃飯不在兩個人一起吃! 也不想再去紀錄我們之間的點點滴滴, 爭吵也累了! 選擇沈默 嗯! 那就這樣吧! 不想面對妳 只想逃避