AI推論進入多模態時代|解鎖半導體與記憶體產業的新格局

更新 發佈閱讀 11 分鐘

AI應用已從單一語言模型(LLM)進化至影片與3D等多模態內容生成,這股趨勢正以前所未有的速度,引發底層半導體與記憶體硬體架構的深層變革:高效能高頻寬記憶體(HBM)的需求與總體擁有成本(TCO)優化下,已催生專為AI推論設計的新晶片與分層記憶體解決方案;企業級固態硬碟(eSSD)正在加速取代傳統硬碟;開始出現高頻寬快閃記憶體(HBF)等創新技術。AI時代下,半導體與記憶體產業從雲端到邊緣,已邁向異構與分層為核心的新紀元。

raw-image

AI應用新戰場:從文字到影片與3D世界

AI影片生成工具的崛起:Sora與Veo的技術突破

生成式AI進入多模態融合的新階段。過去,LLM主要專注於文字,但隨著OpenAI發布Sora等文字生成影片模型,AI應用核心迅速再進一步擴展至聲音、視覺、與動態的多模態內容。Sora能將簡單文字提示轉化為長達一分鐘的高擬真影片,本質上將影片製作抽象化為「指令輸入」,並將運算壓力從個人設備轉移至雲端數據中心,這徹底改變了內容創作與分發的生態。

Google 的 Veo3 API 及其在 YouTube 後台直接生成短影片的功能,更被視為一個潛在的需求引爆點。

然而,這也帶來挑戰,可能因過度依賴相似模型而導致內容同質化,並引發對內容創作者工作機會受衝擊的擔憂。

超越影片:互動式3D世界模型的未來想像

另外AI的視覺化進程並未止步。由AI科學家李飛飛團隊提出的「世界模型」概念,能從單一圖片生成一個可互動的3D場景:這項技術能夠從單一圖片生成一個可互動的3D場景,讓用戶能像在開放世界遊戲中一樣,透過鍵盤與滑鼠進行即時移動、轉換視角,甚至進行虛擬相機的對焦與變焦等互動操作 。  

這與Sora基於二維像素的生成不同,它基於對「物理與三維結構」的深層感知與重建,是當前主流語言模型所不具備的。

因此,AI從影片生成走向3D世界,不僅是運算量的線性增加,更是一次運算邏輯的質變。它要求底層硬體能支持大規模、低延遲、即時互動的空間智能運算,這預示著半導體與記憶體架構可能將有再次根本性革新,是影片生成之後的下一個技術前沿,將為電影、遊戲與模擬器等產業帶來革命性影響 。

核心瓶頸解析:為什麼影片與3D世界對硬體需求如此嚴苛?

無論是影片還是3D模型,其對硬體需求的嚴苛性都源於「詞元」(Token)用量的指數級增長。當AI從純文字轉向多模態,每個影片畫格或3D場景所需的Token數量遠超文字,導致日均Token消耗量在短時間內暴增數十倍。

這種增長揭示了關鍵轉變:AI運算需求的重心,已從一次性的訓練階段,慢慢轉向持續性且高頻發生的推論階段。影片生成與3D模型正是這場推論需求爆炸的核心驅動力,迫使半導體產業必須優化產品線,轉向專為推論工作負載設計的解決方案


算力基石的再進化:AI晶片與其新穎架構

從訓練到推論:AI工作負載的異質化需求

AI工作負載並非單一:AI訓練是計算密集型任務,需要極高的浮點運算能力與HBM等高頻寬記憶體;相較之下,AI推論,特別是長情境任務,雖然同樣需要龐大記憶體頻寬,但更側重於快速存取海量模型參數。

這種差異化需求,讓過去的「通用萬能」晶片架構不足以應對市場。為了最大化客戶的投資回報,半導體巨頭開始推出專門針對推論的解決方案。

NVIDIA Rubin CPX:為影片與長情境推論而生的專用晶片

為應對AI推論浪潮,NVIDIA預計推出專為處理長情境影片與程式碼任務的Rubin CPX晶片。其核心設計哲學是從「算力競賽」轉向「總體擁有成本」(TCO)優化,也就是一個AI推論CP值甚高的產品。

Rubin CPX採用分離式運算模式,能將推論的預填充與解碼器階段分給不同單元,將吞吐量提升最高6倍。更值得注意的是,它採用成本效益更高的GDDR7記憶體而非HBM,GDDR7在容量、頻寬與成本間取得最佳平衡,適合對延遲容忍度較高的推論任務。

網路互連的關鍵性:交換器作為AI數據中心的神經中樞

AI應用不僅改變運算晶片與記憶體,也對網路基礎設施提出更高要求。AI數據中心需進行海量數據的「東西向」交換,而高速網路交換器就像神經中樞。影片與3D模型數據量的爆炸性增長,使得交換器從「輔助設備」上升為AI數據中心運作的「關鍵瓶頸」與「核心基礎設施」。

這邊指的高速網路交換器,並不是矽光子設備本身,但矽光子技術是打造這種高速交換器的核心關鍵之一。

在這一塊領域,博通公司憑藉其技術優勢與既有的數據中心架構相容性,仍持續鞏固其領導地位,該公司在高階雲端資料中心乙太網路交換器的市佔率高達九成,這證明了在AI革命中,核心晶片固然重要,但沒有一個強大且高效的系統互連,這些晶片將無法協同工作,其價值也無法完全體現。


記憶體產業的黃金時代:從HBM到HBF的多層級儲存革命

供需失衡:DRAM與NAND Flash的結構性缺口

AI應用的蓬勃發展現在正以前所未有的速度吞噬記憶體產能,導致DRAM與NAND快閃記憶體市場供需失衡。這股浪潮直接推升了HBM與DDR5的需求,並以漣漪效應擴散至整個產業。多家華爾街機構預測,受AI需求驅動,2026年全球關鍵記憶體將面臨供不應求

為優先供應利潤更高的HBM與DDR5,三星、美光與SK海力士等三大記憶體原廠正逐步退出DDR4與低容量MLC市場。這一策略性調整為台灣廠商帶來龐大轉單機會,轉單效應下,舊世代記憶體產能不足,使得原本低迷的舊世代記憶體價格也開始上漲,整體市場呈現多頭格局。

這邊指的漣漪效應,指的是AI 應用對記憶體市場的影響,不只局限於最直接、最高階的產品(如 HBM),因為產能有限,產線調整生產高階產品,中低階產品產能就減少了,像石頭投入水中產生漣漪一樣,逐步擴散到整個記憶體產業鏈,甚至影響到傳統或看似不那麼「高端」的記憶體產品。

企業級SSD崛起:雲端數據中心儲存典範的轉移

另外,在AI伺服器的數據處理中,企業級固態硬碟(eSSD)正加速取代傳統硬碟(HDD)。儘管eSSD單位成本較高,但隨著QLC技術進步,其每GB成本大幅降低,與HDD的價差縮小。加上eSSD的存取速度遠高於HDD,其在AI時代的成本與性能優勢日益顯著。

雲端服務供應商(如微軟、谷歌、亞馬遜等)正積極規劃在2026年大規模以eSSD取代HDD,這將引發大容量QLC SSD需求暴量成長,並可能在2026年出現「嚴重缺貨」。這標誌著NAND市場的增長引擎,正從傳統消費性產品轉向企業級儲存。

儲存新星:高頻寬快閃記憶體(HBF)的戰略定位

在AI模型規模日益龐大的背景下,現有記憶體解決方案都面臨挑戰。HBM雖頻寬極高但容量有限;eSSD雖容量巨大但頻寬與延遲不足。

為了解決這個鴻溝,SanDisk與SK海力士正合作推動高頻寬快閃記憶體(HBF)。HBF將NAND晶片進行3D堆疊,並透過矽穿孔(TSV)直接與GPU連接。其戰略定位是提供介於HBM與eSSD之間、兼具高容量與高頻寬的解決方案。

HBF的頻寬可望媲美HBM,但容量卻是HBM的8至16倍,使其成為超大型AI模型推論的理想選擇。這項技術預示著AI記憶體架構正形成全新的三層級體系:HBM作為高速快取層、HBF作為大容量模型儲存層,而eSSD則作為底層資料湖

NOR Flash:邊緣AI與嵌入式應用的新星

NOR Flash的記憶體單元採並聯設計,這使其具備優異的隨機存取能力和極快的讀取速度 。儘管其儲存密度較低、寫入與抹除速度較慢 ,但這項技術的優勢在於,它能像常規記憶體晶片一樣高效傳輸數據,並允許程式碼直接在晶片內執行(eXecute In Place, XiP) :這使得NOR Flash成為邊緣AI(Edge AI)設備中,用於儲存啟動碼、韌體和關鍵程式碼的理想選擇 。  

隨著AI技術從雲端推向終端設備,邊緣運算的重要性日益凸顯。AI耳機、AI眼鏡和AI PC等終端產品,都需要快速載入並執行AI模型中的程式碼 。在這些應用場景中,NOR Flash的快速讀取和低功耗特性,使其成為AI邊緣處理的關鍵元件 ​,也讓NOR Flash記憶體供應商帶來了新的成長機遇,也證明了AI對整個半導體產業的影響正從高階市場,逐步滲透至中低階應用領域 。


市場與供應鏈的戰略佈局

華爾街的預測:記憶體價格漲勢將延續至2026年

AI應用的爆發性成長正持續推動半導體市場繁榮。多家分析機構預測,在AI需求強勁支撐下,DRAM與NAND快閃記憶體的合約價格預計將在2025年與2026年持續上漲。企業級SSD的出貨成長也推升了整體NAND產業的營收。

產業鏈新格局:從國際巨頭到台系供應鏈的機遇

當國際記憶體巨頭(三星、美光、海力士等)將產能重心轉向高階HBM與DDR5時,台灣的記憶體供應鏈正迎來機遇。由於三大原廠逐步退出DDR4與低容量MLC市場,南亞科與華邦電等台廠因此獲得大量轉單,使其DDR4出貨量有望大幅成長。同時,這些台廠也積極布局AI相關產品,在這場產業結構性變革中找到新的關鍵定位。

潛在風險與挑戰

儘管機遇前所未有,但潛在風險依然存在。全球經濟的不確定性與美中貿易政策變動,都可能影響供需平衡。此外,若傳統消費性電子產品需求不如預期,也可能對DRAM與NAND市場造成壓力。


結論與未來展望

AI推論應用的核心已從單一模態走向多模態,這場由影片與3D模型生成所驅動的變革,正根本性地重塑半導體產業。AI硬體市場不再僅追求極致運算效能,更轉向以TCO為核心的異構與分層架構,讓整體設計更均衡有效率。這場革命不僅推動了晶片與網通技術成長,甚至產生了「漣漪效應」帶來整個記憶體產業復甦,為台灣供應鏈帶來戰略機遇。

未來,AI記憶體的發展將圍繞分層儲存架構,一個由HBM、HBF與eSSD構成的新型體系正在形成。另外這場由AI影片引發計算與存儲的硬體革新才剛拉開序幕,而能洞察並布局這場變革的企業,將在AI新紀元中取得領先地位。



留言
avatar-img
維那思的異想世界
25會員
135內容數
這裡分享維那思的日常與異想
2025/09/16
阿爾巴尼亞率先任命AI部長「迪埃拉」,成為全球第一個啟用 AI 擔任部長的國家,全權監管政府標案與財政流向,免疫貪腐與人為干預,打造零貪汙、公開透明的數位治理新模式。這不只是象徵性的科技突破,而是真正的國家治理實驗。
Thumbnail
2025/09/16
阿爾巴尼亞率先任命AI部長「迪埃拉」,成為全球第一個啟用 AI 擔任部長的國家,全權監管政府標案與財政流向,免疫貪腐與人為干預,打造零貪汙、公開透明的數位治理新模式。這不只是象徵性的科技突破,而是真正的國家治理實驗。
Thumbnail
2025/09/10
2025年AI裁員潮,已是現在進行式! Salesforce老闆親證AI取代4000職位,直言「興奮」。 我們的工作,會是下一個嗎? AI學不會的人類獨特超能力:批判思考、真實創意、情商與策略思維。別再當被動螺絲釘,學會將AI變成你的「神隊友」,從使用者變身管理者!
Thumbnail
2025/09/10
2025年AI裁員潮,已是現在進行式! Salesforce老闆親證AI取代4000職位,直言「興奮」。 我們的工作,會是下一個嗎? AI學不會的人類獨特超能力:批判思考、真實創意、情商與策略思維。別再當被動螺絲釘,學會將AI變成你的「神隊友」,從使用者變身管理者!
Thumbnail
2025/09/02
OpenAI 推出革命性的 GPT-Realtime,這個技術,讓對話流暢到就像跟真人聊天。能直接「聽懂聲音」,不再需要繁瑣的文字轉換,甚至能捕捉你的語氣和笑聲! 這不只是升級,而是AI從冰冷工具變身為有溫度夥伴的開始。科幻電影中的場景,正在真實上演。
Thumbnail
2025/09/02
OpenAI 推出革命性的 GPT-Realtime,這個技術,讓對話流暢到就像跟真人聊天。能直接「聽懂聲音」,不再需要繁瑣的文字轉換,甚至能捕捉你的語氣和笑聲! 這不只是升級,而是AI從冰冷工具變身為有溫度夥伴的開始。科幻電影中的場景,正在真實上演。
Thumbnail
看更多
你可能也想看
Thumbnail
在 vocus 與你一起探索內容、發掘靈感的路上,我們又將啟動新的冒險——vocus App 正式推出! 現在起,你可以在 iOS App Store 下載全新上架的 vocus App。 無論是在通勤路上、日常空檔,或一天結束後的放鬆時刻,都能自在沈浸在內容宇宙中。
Thumbnail
在 vocus 與你一起探索內容、發掘靈感的路上,我們又將啟動新的冒險——vocus App 正式推出! 現在起,你可以在 iOS App Store 下載全新上架的 vocus App。 無論是在通勤路上、日常空檔,或一天結束後的放鬆時刻,都能自在沈浸在內容宇宙中。
Thumbnail
vocus 慶祝推出 App,舉辦 2026 全站慶。推出精選內容與數位商品折扣,訂單免費與紅包抽獎、新註冊會員專屬活動、Boba Boost 贊助抽紅包,以及全站徵文,並邀請你一起來回顧過去的一年, vocus 與創作者共同留下了哪些精彩創作。
Thumbnail
vocus 慶祝推出 App,舉辦 2026 全站慶。推出精選內容與數位商品折扣,訂單免費與紅包抽獎、新註冊會員專屬活動、Boba Boost 贊助抽紅包,以及全站徵文,並邀請你一起來回顧過去的一年, vocus 與創作者共同留下了哪些精彩創作。
Thumbnail
最近,隨著HBM的戰爭日益激烈,記憶體大廠不論韓國三星,海力士,還是美國的美光,紛紛擴廠迎接未來的需求。但是,即便擴產,對於整體的需求來說,仍然有一段空窗期,更重要的是,如果三大廠都投入HBM的應用,對於傳統的DRAM帶來產能上的缺乏,有機會讓未來的DDR5以上,甚至是DDR3/4都進入供不應求!
Thumbnail
最近,隨著HBM的戰爭日益激烈,記憶體大廠不論韓國三星,海力士,還是美國的美光,紛紛擴廠迎接未來的需求。但是,即便擴產,對於整體的需求來說,仍然有一段空窗期,更重要的是,如果三大廠都投入HBM的應用,對於傳統的DRAM帶來產能上的缺乏,有機會讓未來的DDR5以上,甚至是DDR3/4都進入供不應求!
Thumbnail
在半導體科技頂端的台積電和ASML都發布了財報,面臨回檔壓力的AI半導體還有戲嗎?
Thumbnail
在半導體科技頂端的台積電和ASML都發布了財報,面臨回檔壓力的AI半導體還有戲嗎?
Thumbnail
科技巨擘聯手推進生成式AI發展 開創人工智慧新時代 在生成式人工智慧(Generative AI)的浪潮中,雲端運算龍頭AWS和晶片巨擘NVIDIA攜手合作,推出一系列革命性的基礎設施、軟體和服務。
Thumbnail
科技巨擘聯手推進生成式AI發展 開創人工智慧新時代 在生成式人工智慧(Generative AI)的浪潮中,雲端運算龍頭AWS和晶片巨擘NVIDIA攜手合作,推出一系列革命性的基礎設施、軟體和服務。
Thumbnail
在科技發展的浪潮中,生成式AI無疑是引領未來的關鍵力量。透過深度學習技術,AI系統能夠從大量資料中發掘規律,並創造出全新的內容,無論是文字、圖像、音頻還是視頻,都可以在AI的加持下重新定義。
Thumbnail
在科技發展的浪潮中,生成式AI無疑是引領未來的關鍵力量。透過深度學習技術,AI系統能夠從大量資料中發掘規律,並創造出全新的內容,無論是文字、圖像、音頻還是視頻,都可以在AI的加持下重新定義。
Thumbnail
根據高盛最近的研究報告,未來的個人電腦和移動設備將搭載更多由AI增強後的應用程式,如AI增強、安全性提升和運算能力強化。 消費性電子股票組合<GSXUPCAI>也顯示出潛力,並列出了成分股以及其權重。
Thumbnail
根據高盛最近的研究報告,未來的個人電腦和移動設備將搭載更多由AI增強後的應用程式,如AI增強、安全性提升和運算能力強化。 消費性電子股票組合<GSXUPCAI>也顯示出潛力,並列出了成分股以及其權重。
Thumbnail
NVIDIA 黃仁勳 - AI人工智慧時代如何帶動全球新產業革命(個人紀錄用) 🇺🇸Omniverse 就是未來集大成,而加速運算、人工智慧就是兩個最重要的技術核心 🇺🇸CPU效能的擴充速度正在大幅降低,提出「運算通膨」概念
Thumbnail
NVIDIA 黃仁勳 - AI人工智慧時代如何帶動全球新產業革命(個人紀錄用) 🇺🇸Omniverse 就是未來集大成,而加速運算、人工智慧就是兩個最重要的技術核心 🇺🇸CPU效能的擴充速度正在大幅降低,提出「運算通膨」概念
Thumbnail
本文章探討了多智能體系統(MAS)在生成式AI領域中的應用,以及GenAI對於AI_MCU和Software defined hardware的影響。文章還總結了SDH設計模式對數據科學和人工智能時代的影響,並提供了有關GenAI的一些額外信息。
Thumbnail
本文章探討了多智能體系統(MAS)在生成式AI領域中的應用,以及GenAI對於AI_MCU和Software defined hardware的影響。文章還總結了SDH設計模式對數據科學和人工智能時代的影響,並提供了有關GenAI的一些額外信息。
Thumbnail
數位化時代中,人工智能(AI)已成為推動創新和進步的關鍵力量。本文探討AI的現狀、挑戰以及未來可能性,並提出負責任地發展和使用AI的思考。
Thumbnail
數位化時代中,人工智能(AI)已成為推動創新和進步的關鍵力量。本文探討AI的現狀、挑戰以及未來可能性,並提出負責任地發展和使用AI的思考。
Thumbnail
你不用很懂半導體沒關係, 但有一個基本的邏輯, 觀念很簡單。 讓我用幾分鐘解釋給你聽。 全球AI晶片市場規模將在五年內成長超過26倍。 12月時,AMD發表: 「AI加速器(包括記憶體)的市場規模(TAM或Total Addressable Market)預計
Thumbnail
你不用很懂半導體沒關係, 但有一個基本的邏輯, 觀念很簡單。 讓我用幾分鐘解釋給你聽。 全球AI晶片市場規模將在五年內成長超過26倍。 12月時,AMD發表: 「AI加速器(包括記憶體)的市場規模(TAM或Total Addressable Market)預計
Thumbnail
2023年初,OpenAI 帶來生成式 AI 的實際生活應用,讓 Nvidia GPU, AI server 及 Broadcom 網路交換器供不應求,為了打造既便利又有效率的生活,全球都在追逐這一場新的契機。但是....
Thumbnail
2023年初,OpenAI 帶來生成式 AI 的實際生活應用,讓 Nvidia GPU, AI server 及 Broadcom 網路交換器供不應求,為了打造既便利又有效率的生活,全球都在追逐這一場新的契機。但是....
追蹤感興趣的內容從 Google News 追蹤更多 vocus 的最新精選內容追蹤 Google News