AI推論進入多模態時代|解鎖半導體與記憶體產業的新格局

更新 發佈閱讀 11 分鐘

AI應用已從單一語言模型(LLM)進化至影片與3D等多模態內容生成,這股趨勢正以前所未有的速度,引發底層半導體與記憶體硬體架構的深層變革:高效能高頻寬記憶體(HBM)的需求與總體擁有成本(TCO)優化下,已催生專為AI推論設計的新晶片與分層記憶體解決方案;企業級固態硬碟(eSSD)正在加速取代傳統硬碟;開始出現高頻寬快閃記憶體(HBF)等創新技術。AI時代下,半導體與記憶體產業從雲端到邊緣,已邁向異構與分層為核心的新紀元。

raw-image

AI應用新戰場:從文字到影片與3D世界

AI影片生成工具的崛起:Sora與Veo的技術突破

生成式AI進入多模態融合的新階段。過去,LLM主要專注於文字,但隨著OpenAI發布Sora等文字生成影片模型,AI應用核心迅速再進一步擴展至聲音、視覺、與動態的多模態內容。Sora能將簡單文字提示轉化為長達一分鐘的高擬真影片,本質上將影片製作抽象化為「指令輸入」,並將運算壓力從個人設備轉移至雲端數據中心,這徹底改變了內容創作與分發的生態。

Google 的 Veo3 API 及其在 YouTube 後台直接生成短影片的功能,更被視為一個潛在的需求引爆點。

然而,這也帶來挑戰,可能因過度依賴相似模型而導致內容同質化,並引發對內容創作者工作機會受衝擊的擔憂。

超越影片:互動式3D世界模型的未來想像

另外AI的視覺化進程並未止步。由AI科學家李飛飛團隊提出的「世界模型」概念,能從單一圖片生成一個可互動的3D場景:這項技術能夠從單一圖片生成一個可互動的3D場景,讓用戶能像在開放世界遊戲中一樣,透過鍵盤與滑鼠進行即時移動、轉換視角,甚至進行虛擬相機的對焦與變焦等互動操作 。  

這與Sora基於二維像素的生成不同,它基於對「物理與三維結構」的深層感知與重建,是當前主流語言模型所不具備的。

因此,AI從影片生成走向3D世界,不僅是運算量的線性增加,更是一次運算邏輯的質變。它要求底層硬體能支持大規模、低延遲、即時互動的空間智能運算,這預示著半導體與記憶體架構可能將有再次根本性革新,是影片生成之後的下一個技術前沿,將為電影、遊戲與模擬器等產業帶來革命性影響 。

核心瓶頸解析:為什麼影片與3D世界對硬體需求如此嚴苛?

無論是影片還是3D模型,其對硬體需求的嚴苛性都源於「詞元」(Token)用量的指數級增長。當AI從純文字轉向多模態,每個影片畫格或3D場景所需的Token數量遠超文字,導致日均Token消耗量在短時間內暴增數十倍。

這種增長揭示了關鍵轉變:AI運算需求的重心,已從一次性的訓練階段,慢慢轉向持續性且高頻發生的推論階段。影片生成與3D模型正是這場推論需求爆炸的核心驅動力,迫使半導體產業必須優化產品線,轉向專為推論工作負載設計的解決方案


算力基石的再進化:AI晶片與其新穎架構

從訓練到推論:AI工作負載的異質化需求

AI工作負載並非單一:AI訓練是計算密集型任務,需要極高的浮點運算能力與HBM等高頻寬記憶體;相較之下,AI推論,特別是長情境任務,雖然同樣需要龐大記憶體頻寬,但更側重於快速存取海量模型參數。

這種差異化需求,讓過去的「通用萬能」晶片架構不足以應對市場。為了最大化客戶的投資回報,半導體巨頭開始推出專門針對推論的解決方案。

NVIDIA Rubin CPX:為影片與長情境推論而生的專用晶片

為應對AI推論浪潮,NVIDIA預計推出專為處理長情境影片與程式碼任務的Rubin CPX晶片。其核心設計哲學是從「算力競賽」轉向「總體擁有成本」(TCO)優化,也就是一個AI推論CP值甚高的產品。

Rubin CPX採用分離式運算模式,能將推論的預填充與解碼器階段分給不同單元,將吞吐量提升最高6倍。更值得注意的是,它採用成本效益更高的GDDR7記憶體而非HBM,GDDR7在容量、頻寬與成本間取得最佳平衡,適合對延遲容忍度較高的推論任務。

網路互連的關鍵性:交換器作為AI數據中心的神經中樞

AI應用不僅改變運算晶片與記憶體,也對網路基礎設施提出更高要求。AI數據中心需進行海量數據的「東西向」交換,而高速網路交換器就像神經中樞。影片與3D模型數據量的爆炸性增長,使得交換器從「輔助設備」上升為AI數據中心運作的「關鍵瓶頸」與「核心基礎設施」。

這邊指的高速網路交換器,並不是矽光子設備本身,但矽光子技術是打造這種高速交換器的核心關鍵之一。

在這一塊領域,博通公司憑藉其技術優勢與既有的數據中心架構相容性,仍持續鞏固其領導地位,該公司在高階雲端資料中心乙太網路交換器的市佔率高達九成,這證明了在AI革命中,核心晶片固然重要,但沒有一個強大且高效的系統互連,這些晶片將無法協同工作,其價值也無法完全體現。


記憶體產業的黃金時代:從HBM到HBF的多層級儲存革命

供需失衡:DRAM與NAND Flash的結構性缺口

AI應用的蓬勃發展現在正以前所未有的速度吞噬記憶體產能,導致DRAM與NAND快閃記憶體市場供需失衡。這股浪潮直接推升了HBM與DDR5的需求,並以漣漪效應擴散至整個產業。多家華爾街機構預測,受AI需求驅動,2026年全球關鍵記憶體將面臨供不應求

為優先供應利潤更高的HBM與DDR5,三星、美光與SK海力士等三大記憶體原廠正逐步退出DDR4與低容量MLC市場。這一策略性調整為台灣廠商帶來龐大轉單機會,轉單效應下,舊世代記憶體產能不足,使得原本低迷的舊世代記憶體價格也開始上漲,整體市場呈現多頭格局。

這邊指的漣漪效應,指的是AI 應用對記憶體市場的影響,不只局限於最直接、最高階的產品(如 HBM),因為產能有限,產線調整生產高階產品,中低階產品產能就減少了,像石頭投入水中產生漣漪一樣,逐步擴散到整個記憶體產業鏈,甚至影響到傳統或看似不那麼「高端」的記憶體產品。

企業級SSD崛起:雲端數據中心儲存典範的轉移

另外,在AI伺服器的數據處理中,企業級固態硬碟(eSSD)正加速取代傳統硬碟(HDD)。儘管eSSD單位成本較高,但隨著QLC技術進步,其每GB成本大幅降低,與HDD的價差縮小。加上eSSD的存取速度遠高於HDD,其在AI時代的成本與性能優勢日益顯著。

雲端服務供應商(如微軟、谷歌、亞馬遜等)正積極規劃在2026年大規模以eSSD取代HDD,這將引發大容量QLC SSD需求暴量成長,並可能在2026年出現「嚴重缺貨」。這標誌著NAND市場的增長引擎,正從傳統消費性產品轉向企業級儲存。

儲存新星:高頻寬快閃記憶體(HBF)的戰略定位

在AI模型規模日益龐大的背景下,現有記憶體解決方案都面臨挑戰。HBM雖頻寬極高但容量有限;eSSD雖容量巨大但頻寬與延遲不足。

為了解決這個鴻溝,SanDisk與SK海力士正合作推動高頻寬快閃記憶體(HBF)。HBF將NAND晶片進行3D堆疊,並透過矽穿孔(TSV)直接與GPU連接。其戰略定位是提供介於HBM與eSSD之間、兼具高容量與高頻寬的解決方案。

HBF的頻寬可望媲美HBM,但容量卻是HBM的8至16倍,使其成為超大型AI模型推論的理想選擇。這項技術預示著AI記憶體架構正形成全新的三層級體系:HBM作為高速快取層、HBF作為大容量模型儲存層,而eSSD則作為底層資料湖

NOR Flash:邊緣AI與嵌入式應用的新星

NOR Flash的記憶體單元採並聯設計,這使其具備優異的隨機存取能力和極快的讀取速度 。儘管其儲存密度較低、寫入與抹除速度較慢 ,但這項技術的優勢在於,它能像常規記憶體晶片一樣高效傳輸數據,並允許程式碼直接在晶片內執行(eXecute In Place, XiP) :這使得NOR Flash成為邊緣AI(Edge AI)設備中,用於儲存啟動碼、韌體和關鍵程式碼的理想選擇 。  

隨著AI技術從雲端推向終端設備,邊緣運算的重要性日益凸顯。AI耳機、AI眼鏡和AI PC等終端產品,都需要快速載入並執行AI模型中的程式碼 。在這些應用場景中,NOR Flash的快速讀取和低功耗特性,使其成為AI邊緣處理的關鍵元件 ​,也讓NOR Flash記憶體供應商帶來了新的成長機遇,也證明了AI對整個半導體產業的影響正從高階市場,逐步滲透至中低階應用領域 。


市場與供應鏈的戰略佈局

華爾街的預測:記憶體價格漲勢將延續至2026年

AI應用的爆發性成長正持續推動半導體市場繁榮。多家分析機構預測,在AI需求強勁支撐下,DRAM與NAND快閃記憶體的合約價格預計將在2025年與2026年持續上漲。企業級SSD的出貨成長也推升了整體NAND產業的營收。

產業鏈新格局:從國際巨頭到台系供應鏈的機遇

當國際記憶體巨頭(三星、美光、海力士等)將產能重心轉向高階HBM與DDR5時,台灣的記憶體供應鏈正迎來機遇。由於三大原廠逐步退出DDR4與低容量MLC市場,南亞科與華邦電等台廠因此獲得大量轉單,使其DDR4出貨量有望大幅成長。同時,這些台廠也積極布局AI相關產品,在這場產業結構性變革中找到新的關鍵定位。

潛在風險與挑戰

儘管機遇前所未有,但潛在風險依然存在。全球經濟的不確定性與美中貿易政策變動,都可能影響供需平衡。此外,若傳統消費性電子產品需求不如預期,也可能對DRAM與NAND市場造成壓力。


結論與未來展望

AI推論應用的核心已從單一模態走向多模態,這場由影片與3D模型生成所驅動的變革,正根本性地重塑半導體產業。AI硬體市場不再僅追求極致運算效能,更轉向以TCO為核心的異構與分層架構,讓整體設計更均衡有效率。這場革命不僅推動了晶片與網通技術成長,甚至產生了「漣漪效應」帶來整個記憶體產業復甦,為台灣供應鏈帶來戰略機遇。

未來,AI記憶體的發展將圍繞分層儲存架構,一個由HBM、HBF與eSSD構成的新型體系正在形成。另外這場由AI影片引發計算與存儲的硬體革新才剛拉開序幕,而能洞察並布局這場變革的企業,將在AI新紀元中取得領先地位。



留言
avatar-img
留言分享你的想法!
avatar-img
維那思的異想世界
11會員
100內容數
這裡分享維那思的日常與異想
2025/09/16
阿爾巴尼亞率先任命AI部長「迪埃拉」,成為全球第一個啟用 AI 擔任部長的國家,全權監管政府標案與財政流向,免疫貪腐與人為干預,打造零貪汙、公開透明的數位治理新模式。這不只是象徵性的科技突破,而是真正的國家治理實驗。
Thumbnail
2025/09/16
阿爾巴尼亞率先任命AI部長「迪埃拉」,成為全球第一個啟用 AI 擔任部長的國家,全權監管政府標案與財政流向,免疫貪腐與人為干預,打造零貪汙、公開透明的數位治理新模式。這不只是象徵性的科技突破,而是真正的國家治理實驗。
Thumbnail
2025/09/10
2025年AI裁員潮,已是現在進行式! Salesforce老闆親證AI取代4000職位,直言「興奮」。 我們的工作,會是下一個嗎? AI學不會的人類獨特超能力:批判思考、真實創意、情商與策略思維。別再當被動螺絲釘,學會將AI變成你的「神隊友」,從使用者變身管理者!
Thumbnail
2025/09/10
2025年AI裁員潮,已是現在進行式! Salesforce老闆親證AI取代4000職位,直言「興奮」。 我們的工作,會是下一個嗎? AI學不會的人類獨特超能力:批判思考、真實創意、情商與策略思維。別再當被動螺絲釘,學會將AI變成你的「神隊友」,從使用者變身管理者!
Thumbnail
2025/09/02
OpenAI 推出革命性的 GPT-Realtime,這個技術,讓對話流暢到就像跟真人聊天。能直接「聽懂聲音」,不再需要繁瑣的文字轉換,甚至能捕捉你的語氣和笑聲! 這不只是升級,而是AI從冰冷工具變身為有溫度夥伴的開始。科幻電影中的場景,正在真實上演。
Thumbnail
2025/09/02
OpenAI 推出革命性的 GPT-Realtime,這個技術,讓對話流暢到就像跟真人聊天。能直接「聽懂聲音」,不再需要繁瑣的文字轉換,甚至能捕捉你的語氣和笑聲! 這不只是升級,而是AI從冰冷工具變身為有溫度夥伴的開始。科幻電影中的場景,正在真實上演。
Thumbnail
看更多
你可能也想看
Thumbnail
蝦皮分潤計畫讓我在分享旅遊文章時,也能透過推薦好物累積被動收入,貼補旅行基金。這篇文章,除了介紹計畫的操作亮點與心得,也分享我最常應用的案例:「旅行必備小物 TOP5」,包含行李鎖、免洗內衣褲、分裝瓶、折疊衣架與真空壓縮袋,幫助出國打包更輕鬆。想同時記錄旅行、分享好物又創造額外收入的你,千萬別錯過!
Thumbnail
蝦皮分潤計畫讓我在分享旅遊文章時,也能透過推薦好物累積被動收入,貼補旅行基金。這篇文章,除了介紹計畫的操作亮點與心得,也分享我最常應用的案例:「旅行必備小物 TOP5」,包含行李鎖、免洗內衣褲、分裝瓶、折疊衣架與真空壓縮袋,幫助出國打包更輕鬆。想同時記錄旅行、分享好物又創造額外收入的你,千萬別錯過!
Thumbnail
想增加被動收入?加入蝦皮分潤計畫是輕鬆上手的好方法!本文提供完整教學,包含申請流程、賺取分潤技巧,以及實際使用心得分享,助你輕鬆獲得額外收入。
Thumbnail
想增加被動收入?加入蝦皮分潤計畫是輕鬆上手的好方法!本文提供完整教學,包含申請流程、賺取分潤技巧,以及實際使用心得分享,助你輕鬆獲得額外收入。
Thumbnail
最近,隨著HBM的戰爭日益激烈,記憶體大廠不論韓國三星,海力士,還是美國的美光,紛紛擴廠迎接未來的需求。但是,即便擴產,對於整體的需求來說,仍然有一段空窗期,更重要的是,如果三大廠都投入HBM的應用,對於傳統的DRAM帶來產能上的缺乏,有機會讓未來的DDR5以上,甚至是DDR3/4都進入供不應求!
Thumbnail
最近,隨著HBM的戰爭日益激烈,記憶體大廠不論韓國三星,海力士,還是美國的美光,紛紛擴廠迎接未來的需求。但是,即便擴產,對於整體的需求來說,仍然有一段空窗期,更重要的是,如果三大廠都投入HBM的應用,對於傳統的DRAM帶來產能上的缺乏,有機會讓未來的DDR5以上,甚至是DDR3/4都進入供不應求!
Thumbnail
在半導體科技頂端的台積電和ASML都發布了財報,面臨回檔壓力的AI半導體還有戲嗎?
Thumbnail
在半導體科技頂端的台積電和ASML都發布了財報,面臨回檔壓力的AI半導體還有戲嗎?
Thumbnail
科技巨擘聯手推進生成式AI發展 開創人工智慧新時代 在生成式人工智慧(Generative AI)的浪潮中,雲端運算龍頭AWS和晶片巨擘NVIDIA攜手合作,推出一系列革命性的基礎設施、軟體和服務。
Thumbnail
科技巨擘聯手推進生成式AI發展 開創人工智慧新時代 在生成式人工智慧(Generative AI)的浪潮中,雲端運算龍頭AWS和晶片巨擘NVIDIA攜手合作,推出一系列革命性的基礎設施、軟體和服務。
Thumbnail
在科技發展的浪潮中,生成式AI無疑是引領未來的關鍵力量。透過深度學習技術,AI系統能夠從大量資料中發掘規律,並創造出全新的內容,無論是文字、圖像、音頻還是視頻,都可以在AI的加持下重新定義。
Thumbnail
在科技發展的浪潮中,生成式AI無疑是引領未來的關鍵力量。透過深度學習技術,AI系統能夠從大量資料中發掘規律,並創造出全新的內容,無論是文字、圖像、音頻還是視頻,都可以在AI的加持下重新定義。
Thumbnail
根據高盛最近的研究報告,未來的個人電腦和移動設備將搭載更多由AI增強後的應用程式,如AI增強、安全性提升和運算能力強化。 消費性電子股票組合<GSXUPCAI>也顯示出潛力,並列出了成分股以及其權重。
Thumbnail
根據高盛最近的研究報告,未來的個人電腦和移動設備將搭載更多由AI增強後的應用程式,如AI增強、安全性提升和運算能力強化。 消費性電子股票組合<GSXUPCAI>也顯示出潛力,並列出了成分股以及其權重。
Thumbnail
NVIDIA 黃仁勳 - AI人工智慧時代如何帶動全球新產業革命(個人紀錄用) 🇺🇸Omniverse 就是未來集大成,而加速運算、人工智慧就是兩個最重要的技術核心 🇺🇸CPU效能的擴充速度正在大幅降低,提出「運算通膨」概念
Thumbnail
NVIDIA 黃仁勳 - AI人工智慧時代如何帶動全球新產業革命(個人紀錄用) 🇺🇸Omniverse 就是未來集大成,而加速運算、人工智慧就是兩個最重要的技術核心 🇺🇸CPU效能的擴充速度正在大幅降低,提出「運算通膨」概念
Thumbnail
本文章探討了多智能體系統(MAS)在生成式AI領域中的應用,以及GenAI對於AI_MCU和Software defined hardware的影響。文章還總結了SDH設計模式對數據科學和人工智能時代的影響,並提供了有關GenAI的一些額外信息。
Thumbnail
本文章探討了多智能體系統(MAS)在生成式AI領域中的應用,以及GenAI對於AI_MCU和Software defined hardware的影響。文章還總結了SDH設計模式對數據科學和人工智能時代的影響,並提供了有關GenAI的一些額外信息。
Thumbnail
數位化時代中,人工智能(AI)已成為推動創新和進步的關鍵力量。本文探討AI的現狀、挑戰以及未來可能性,並提出負責任地發展和使用AI的思考。
Thumbnail
數位化時代中,人工智能(AI)已成為推動創新和進步的關鍵力量。本文探討AI的現狀、挑戰以及未來可能性,並提出負責任地發展和使用AI的思考。
Thumbnail
你不用很懂半導體沒關係, 但有一個基本的邏輯, 觀念很簡單。 讓我用幾分鐘解釋給你聽。 全球AI晶片市場規模將在五年內成長超過26倍。 12月時,AMD發表: 「AI加速器(包括記憶體)的市場規模(TAM或Total Addressable Market)預計
Thumbnail
你不用很懂半導體沒關係, 但有一個基本的邏輯, 觀念很簡單。 讓我用幾分鐘解釋給你聽。 全球AI晶片市場規模將在五年內成長超過26倍。 12月時,AMD發表: 「AI加速器(包括記憶體)的市場規模(TAM或Total Addressable Market)預計
Thumbnail
2023年初,OpenAI 帶來生成式 AI 的實際生活應用,讓 Nvidia GPU, AI server 及 Broadcom 網路交換器供不應求,為了打造既便利又有效率的生活,全球都在追逐這一場新的契機。但是....
Thumbnail
2023年初,OpenAI 帶來生成式 AI 的實際生活應用,讓 Nvidia GPU, AI server 及 Broadcom 網路交換器供不應求,為了打造既便利又有效率的生活,全球都在追逐這一場新的契機。但是....
追蹤感興趣的內容從 Google News 追蹤更多 vocus 的最新精選內容追蹤 Google News