AI推論進入多模態時代｜解鎖半導體與記憶體產業的新格局

AI應用已從單一語言模型（LLM）進化至影片與3D等多模態內容生成，這股趨勢正以前所未有的速度，引發底層半導體與記憶體硬體架構的深層變革：高效能高頻寬記憶體（HBM）的需求與總體擁有成本（TCO）優化下，已催生專為AI推論設計的新晶片與分層記憶體解決方案；企業級固態硬碟（eSSD）正在加速取代傳統硬碟；開始出現高頻寬快閃記憶體（HBF）等創新技術。AI時代下，半導體與記憶體產業從雲端到邊緣，已邁向異構與分層為核心的新紀元。

AI應用新戰場：從文字到影片與3D世界

AI影片生成工具的崛起：Sora與Veo的技術突破

生成式AI進入多模態融合的新階段。過去，LLM主要專注於文字，但隨著OpenAI發布Sora等文字生成影片模型，AI應用核心迅速再進一步擴展至聲音、視覺、與動態的多模態內容。Sora能將簡單文字提示轉化為長達一分鐘的高擬真影片，本質上將影片製作抽象化為「指令輸入」，並將運算壓力從個人設備轉移至雲端數據中心，這徹底改變了內容創作與分發的生態。

然而，這也帶來挑戰，可能因過度依賴相似模型而導致內容同質化，並引發對內容創作者工作機會受衝擊的擔憂。

超越影片：互動式3D世界模型的未來想像

另外AI的視覺化進程並未止步。由AI科學家李飛飛團隊提出的「世界模型」概念，能從單一圖片生成一個可互動的3D場景：這項技術能夠從單一圖片生成一個可互動的3D場景，讓用戶能像在開放世界遊戲中一樣，透過鍵盤與滑鼠進行即時移動、轉換視角，甚至進行虛擬相機的對焦與變焦等互動操作 。  

這與Sora基於二維像素的生成不同，它基於對「物理與三維結構」的深層感知與重建，是當前主流語言模型所不具備的。

因此，AI從影片生成走向3D世界，不僅是運算量的線性增加，更是一次運算邏輯的質變。它要求底層硬體能支持大規模、低延遲、即時互動的空間智能運算，這預示著半導體與記憶體架構可能將有再次根本性革新，是影片生成之後的下一個技術前沿，將為電影、遊戲與模擬器等產業帶來革命性影響 。

核心瓶頸解析：為什麼影片與3D世界對硬體需求如此嚴苛？

無論是影片還是3D模型，其對硬體需求的嚴苛性都源於「詞元」（Token）用量的指數級增長。當AI從純文字轉向多模態，每個影片畫格或3D場景所需的Token數量遠超文字，導致日均Token消耗量在短時間內暴增數十倍。

這種增長揭示了關鍵轉變：AI運算需求的重心，已從一次性的訓練階段，慢慢轉向持續性且高頻發生的推論階段。影片生成與3D模型正是這場推論需求爆炸的核心驅動力，迫使半導體產業必須優化產品線，轉向專為推論工作負載設計的解決方案。

算力基石的再進化：AI晶片與其新穎架構

從訓練到推論：AI工作負載的異質化需求

AI工作負載並非單一：AI訓練是計算密集型任務，需要極高的浮點運算能力與HBM等高頻寬記憶體；相較之下，AI推論，特別是長情境任務，雖然同樣需要龐大記憶體頻寬，但更側重於快速存取海量模型參數。

這種差異化需求，讓過去的「通用萬能」晶片架構不足以應對市場。為了最大化客戶的投資回報，半導體巨頭開始推出專門針對推論的解決方案。

NVIDIA Rubin CPX：為影片與長情境推論而生的專用晶片

為應對AI推論浪潮，NVIDIA預計推出專為處理長情境影片與程式碼任務的Rubin CPX晶片。其核心設計哲學是從「算力競賽」轉向「總體擁有成本」（TCO）優化，也就是一個AI推論CP值甚高的產品。

Rubin CPX採用分離式運算模式，能將推論的預填充與解碼器階段分給不同單元，將吞吐量提升最高6倍。更值得注意的是，它採用成本效益更高的GDDR7記憶體而非HBM，GDDR7在容量、頻寬與成本間取得最佳平衡，適合對延遲容忍度較高的推論任務。

網路互連的關鍵性：交換器作為AI數據中心的神經中樞

AI應用不僅改變運算晶片與記憶體，也對網路基礎設施提出更高要求。AI數據中心需進行海量數據的「東西向」交換，而高速網路交換器就像神經中樞。影片與3D模型數據量的爆炸性增長，使得交換器從「輔助設備」上升為AI數據中心運作的「關鍵瓶頸」與「核心基礎設施」。

這邊指的高速網路交換器，並不是矽光子設備本身，但矽光子技術是打造這種高速交換器的核心關鍵之一。

在這一塊領域，博通公司憑藉其技術優勢與既有的數據中心架構相容性，仍持續鞏固其領導地位，該公司在高階雲端資料中心乙太網路交換器的市佔率高達九成，這證明了在AI革命中，核心晶片固然重要，但沒有一個強大且高效的系統互連，這些晶片將無法協同工作，其價值也無法完全體現。

記憶體產業的黃金時代：從HBM到HBF的多層級儲存革命

供需失衡：DRAM與NAND Flash的結構性缺口

AI應用的蓬勃發展現在正以前所未有的速度吞噬記憶體產能，導致DRAM與NAND快閃記憶體市場供需失衡。這股浪潮直接推升了HBM與DDR5的需求，並以漣漪效應擴散至整個產業。多家華爾街機構預測，受AI需求驅動，2026年全球關鍵記憶體將面臨供不應求。

為優先供應利潤更高的HBM與DDR5，三星、美光與SK海力士等三大記憶體原廠正逐步退出DDR4與低容量MLC市場。這一策略性調整為台灣廠商帶來龐大轉單機會，轉單效應下，舊世代記憶體產能不足，使得原本低迷的舊世代記憶體價格也開始上漲，整體市場呈現多頭格局。

這邊指的漣漪效應，指的是AI 應用對記憶體市場的影響，不只局限於最直接、最高階的產品（如 HBM），因為產能有限，產線調整生產高階產品，中低階產品產能就減少了，像石頭投入水中產生漣漪一樣，逐步擴散到整個記憶體產業鏈，甚至影響到傳統或看似不那麼「高端」的記憶體產品。

企業級SSD崛起：雲端數據中心儲存典範的轉移

另外，在AI伺服器的數據處理中，企業級固態硬碟（eSSD）正加速取代傳統硬碟（HDD）。儘管eSSD單位成本較高，但隨著QLC技術進步，其每GB成本大幅降低，與HDD的價差縮小。加上eSSD的存取速度遠高於HDD，其在AI時代的成本與性能優勢日益顯著。

雲端服務供應商(如微軟、谷歌、亞馬遜等)正積極規劃在2026年大規模以eSSD取代HDD，這將引發大容量QLC SSD需求暴量成長，並可能在2026年出現「嚴重缺貨」。這標誌著NAND市場的增長引擎，正從傳統消費性產品轉向企業級儲存。

儲存新星：高頻寬快閃記憶體（HBF）的戰略定位

在AI模型規模日益龐大的背景下，現有記憶體解決方案都面臨挑戰。HBM雖頻寬極高但容量有限；eSSD雖容量巨大但頻寬與延遲不足。

為了解決這個鴻溝，SanDisk與SK海力士正合作推動高頻寬快閃記憶體（HBF）。HBF將NAND晶片進行3D堆疊，並透過矽穿孔（TSV）直接與GPU連接。其戰略定位是提供介於HBM與eSSD之間、兼具高容量與高頻寬的解決方案。

HBF的頻寬可望媲美HBM，但容量卻是HBM的8至16倍，使其成為超大型AI模型推論的理想選擇。這項技術預示著AI記憶體架構正形成全新的三層級體系：HBM作為高速快取層、HBF作為大容量模型儲存層，而eSSD則作為底層資料湖。

NOR Flash：邊緣AI與嵌入式應用的新星

NOR Flash的記憶體單元採並聯設計，這使其具備優異的隨機存取能力和極快的讀取速度 。儘管其儲存密度較低、寫入與抹除速度較慢 ，但這項技術的優勢在於，它能像常規記憶體晶片一樣高效傳輸數據，並允許程式碼直接在晶片內執行（eXecute In Place, XiP） ：這使得NOR Flash成為邊緣AI（Edge AI）設備中，用於儲存啟動碼、韌體和關鍵程式碼的理想選擇 。  

隨著AI技術從雲端推向終端設備，邊緣運算的重要性日益凸顯。AI耳機、AI眼鏡和AI PC等終端產品，都需要快速載入並執行AI模型中的程式碼 。在這些應用場景中，NOR Flash的快速讀取和低功耗特性，使其成為AI邊緣處理的關鍵元件 ​，也讓NOR Flash記憶體供應商帶來了新的成長機遇，也證明了AI對整個半導體產業的影響正從高階市場，逐步滲透至中低階應用領域 。

市場與供應鏈的戰略佈局

華爾街的預測：記憶體價格漲勢將延續至2026年

AI應用的爆發性成長正持續推動半導體市場繁榮。多家分析機構預測，在AI需求強勁支撐下，DRAM與NAND快閃記憶體的合約價格預計將在2025年與2026年持續上漲。企業級SSD的出貨成長也推升了整體NAND產業的營收。

產業鏈新格局：從國際巨頭到台系供應鏈的機遇

當國際記憶體巨頭(三星、美光、海力士等)將產能重心轉向高階HBM與DDR5時，台灣的記憶體供應鏈正迎來機遇。由於三大原廠逐步退出DDR4與低容量MLC市場，南亞科與華邦電等台廠因此獲得大量轉單，使其DDR4出貨量有望大幅成長。同時，這些台廠也積極布局AI相關產品，在這場產業結構性變革中找到新的關鍵定位。

潛在風險與挑戰

儘管機遇前所未有，但潛在風險依然存在。全球經濟的不確定性與美中貿易政策變動，都可能影響供需平衡。此外，若傳統消費性電子產品需求不如預期，也可能對DRAM與NAND市場造成壓力。

結論與未來展望

AI推論應用的核心已從單一模態走向多模態，這場由影片與3D模型生成所驅動的變革，正根本性地重塑半導體產業。AI硬體市場不再僅追求極致運算效能，更轉向以TCO為核心的異構與分層架構，讓整體設計更均衡有效率。這場革命不僅推動了晶片與網通技術成長，甚至產生了「漣漪效應」帶來整個記憶體產業復甦，為台灣供應鏈帶來戰略機遇。

未來，AI記憶體的發展將圍繞分層儲存架構，一個由HBM、HBF與eSSD構成的新型體系正在形成。另外這場由AI影片引發計算與存儲的硬體革新才剛拉開序幕，而能洞察並布局這場變革的企業，將在AI新紀元中取得領先地位。