Nvidia 的秘密武器? 一場探討『L40S 』的奇幻之旅 🔥

Nvidia 於8月8日「計算機圖形與交互技術頂級會議暨展覽(SIGGRAPH)」發表了 L40S GPU 推理卡(以下簡稱L40S) 以及搭載 L40S的 OVX 伺服器。

OVX系統，是專為資料中心等級創造與執行元宇宙、工業數位孿生、虛擬協作等應用而設計。 另外，L40S OVX 伺服器也可說是 MGX 系列產品喔。

🍖Nvidia 系列產品:  DGX/ HGX/ MGX 

➡️ DGX 整台伺服器 : 

DGX Nvidia自建Al伺服器系統 ; 由Nvidia 設計好晶片後，交由2317 鴻海(旗下工業富聯)代工模組，再交由 3231 緯創組裝，再交還 Nvidia ，由Nvidia 賣給客戶端。 雲端供應商為其主要客戶群. (2023年至今出貨量小於一萬台)

➡️ HGX 準系統 : 半成品伺服器

企業 教育機構 軍事單位為其主要客戶群 (2023年至今出貨量約16萬台)

🍖備註: 3231 緯創 囊括代工, 設計, 與系統整合，DGX HGX GPU基板組裝 幾乎都是 3231 緯創獨家供應，無論是2382廣達,2376技嘉,或Supermicro美超微等公司生產伺服器時，都需要跟3231緯創拿基板，先前股價飆漲其中一大原因為緯創是Nvidia 獨家基板供應商; 但近期傳出，A100 基板可能有轉單給 2317鴻海(旗下工業富聯)的狀況。2024年緯創AI相關營收占比只有7%，應多加留意毛利率狀況，若毛利率無法維持，其本益比有可能面臨下修。

➡️ MGX : 設計解決方案伺服器平台

Nvidia模組化的參考設計，協助ODM廠(原廠委託設計代工廠)節省開發資源並縮短上市時間。 由於客戶有不同尺寸或不同組裝方式需求 (1U 2U, 4U等) ，ODM 廠商運用MGX平台跟客戶進行合作開發。

💎 什麼是 L40S呢?

L40S 是一款強大的通用數據中心處理器，採Ada Lovelace 第四代 Tensor 核心，為L40系列的迭代特規版，首次加入 Transformer Engine，可以針對生成式 AI 做微調，大幅加速人工智慧效能，並且改善訓練和推論的記憶體使用; 應用於Nvidia Omniverse平台，除了 3D 設計和視覺化、影片處理、工業數位化等運算密集功能，更跨足 AI 訓練及推論等數十億參數量的小規模語言模型，被稱為最強大的通用GPU。

🍖備註: Nvidia Omniverse平台是專門為虛擬協作、真實物理情況等即時模擬所打造出的開放平台，多位創作者可在共享虛擬空間即時進行「3D 設計協作」，設計出各種逼真的3D 素材場景等。並提供可擴充的即時光線追蹤、路徑追蹤技術，打造擬真的即時視覺效果。 (最近很夯的 One Boy 服飾品牌廣告，即使用 Omniverse 平台輔助製作喔）

💎 相較於 A100 晶片，L40S有什麼特色？

➡️ 相較於A100，L40S具有以下優勢：

• ⽣成式AI 訓練效能提升70%、大型語言模型 (LLM) 等 AI 推理效能提升20％
• L40S 使用 GDDR6 而不是 HBM（高頻寬記憶體)，繞過CoWos 3D 封裝技術，解決產能不足問題，更降低了產品成本。
• L40S 還包括編碼和解碼引擎及用於3D媒體的顯示輸出，這是A100所缺少的。

💎 探討 L40S 

➡️L40S 與現有可插 PCIe 的伺服器機型相容，資料中心業者或企業客戶可以在不需要更改設計的情況下，直接安裝。

➡️然而，在L40S沒有搭載HBM，也不支援 NVLink 等規格技術限制下，對於大規模AI演算法訓練，效能終將落後。 但是，在小規模AI演算法訓練或者是AI推論需求，L40S將優於A100。  (H100 支援NVLink，對於簡單重複性高的數據可以快速運算 (L40S頻寬有落差) ) 

🍖 備註: NVLink 是一種高速互連技術，取代 PCIe 提供更快的傳輸速度與溝通模式。 目前，NVLink 頻寬高於 PCIe 至少 5-12 倍，NVLink 可將 CPU 與 GPU 的溝通模式變得更直接，讓 GPU 與 GPU 可跳過 CPU 直接溝通，同時，藉由統一存取記憶體技術整合 CPU 與 GPU 的記憶體，更加有效利用運算資源。

➡️ L40S 更便宜:

H100 售價約 2萬+ USD 

A100 售價約 1.1萬~ 1.5萬 USD

L40S 售價約 1萬~ 1.1 萬 USD ，較A100 售價便宜約20%~30%，但推論端與訓練端效能更高。 對於政府機關、學術機構和一般企業等不需要高計算能力的用戶來說，更經濟實惠。

➡️ 2023 H2到2024年Nvidia的重點即在：

HGX H100 伺服器，及 L40S OVX 伺服器 

💎 L40S概念股   (完整概念股內容請參考圖表喔☺️)

🔥 組裝廠

➡️L40S 模組&基板廠 : 2371 鴻海 (旗下工業富聯)

➡️Nvidia 搭載L40S的 OVX 伺服器廠: 

2382 廣達、2376技嘉、2357 華碩

➡️伺服器 ODM 相關業者: 

Supermicro (SMCI 美超微) , 雲達 (2382廣達旗下) , DELL(戴爾), 

HP (惠普), Lenovo (聯想)

✏️2371 鴻海 

AI伺服器2023年營收達5000億，但以整體營收(7兆)來說，比重仍極低。 

✏️2382 廣達 旗下雲達

L40S MGX架構伺服器 首波受惠者 (2023 Q4 開始放量) ; AI 伺服器主機板及伺服器代工廠，專精「算力」相關雲端運算與筆電代工等，旗下伺服器產品涵蓋資料中心及QuantaMesh 交換器。客戶：Microsoft, Google, Amazon 等 CSP雲端供應商大廠 (CSP廠直接跟廣達下單) ，及 Meta (資料中心產品代工)  (要出貨是在2024年)

✏️2357 華碩

擁有自行研發的創新大型語言模型 (LLM)技術

少數擁有全方位資源的高性能運算解決方案供應商

旗下台智雲(TWS)是亞洲唯一商用AI超算服務，客戶涵蓋品牌及白牌ODM廠。

✏️ 2376 技嘉

輝達 及 ARM (安謀)架構伺服器供應商

客戶: 直接出貨給 Tier 2 廠 (例如: 企業, 軍事國防, 研究, 學術單位) 

2024 年AI營收占整體伺服器產品營收比有望超過40-50%

🔥BMC 遠端伺服器管理晶片

NVIDIA OVX伺服器搭載BlueField-3 DPU(資料處理器)，且每張BlueField-3 DPU需要搭載1顆 BMC

➡️ 台廠 BMC 概念股可參考 5274 信驊

✏️5274 信驊

全球BMC市場穩居主導地位

🔥PCIe 傳輸線

L40S 與現有可插 PCIe 的伺服器機型相容，(請看備註說明) 採PCIe bus (高速串行計算機擴展傳輸線)，有望帶起 PCIe Gen 5 Retimer 需求，若採用 PCIe Gen 5, 則可參考概念股4966 譜瑞ky及 8299 群聯。

🍖 備註: 新一代PCIe 擁有更高頻寬的 GPU、SSDs等，例如: 第 12 代系統增加支援 PCIe Gen 5，第 11 代則增加支援 PCIe Gen 4。每個世代的 PCIe 都能和舊版相容，不一定需要升級。 (PCIe Gen 5 Retimer 單價⼤約是PCIe Gen 4的1.5倍)

✏️ 4966 譜瑞ky

2023年7⽉發表PCIe Gen 5 Retimer產品，有望於2023年底正式量產，2024 H1 開始貢獻營收，成為第⼆家PCIe Gen 5 Retimer供應商。譜瑞為Retimer 市場最早的開發者，產品通過 Intel, AMD 等平台認證(為其主要 Retimer 供應商)。

✏️ 8299 群聯

已放量出貨PCIe Gen 5 Redriver，該產品應⽤於消費性主機板

PCIe Gen 5 Retimer認證中，最快可於2024年獲初步成果，有望於 2024Q2正式量產，2024 H2 開始貢獻於營收，正式切入伺服器市場，有望成為第三家PCIe Gen 5 Retimer供應商。 (須留意，群聯主要營收貢獻仍以記憶體模組為主，PCIe Gen 5佔比尚小喔) 

🍖 備註: 市場上其他PCIe Retimer 廠商有: 瀾起科技(中) , Astera Labs (美), IDT (被瑞薩半導體收購), TI (德州儀器) , Microchip (美) 等。

🔥CPU socket 插槽

概念股可參考 3533 嘉澤 

🔥散熱模組

L40S GPU功耗350W，若採⽤2U設計、搭載2~4張L40S推理卡，使用 氣冷散熱解決⽅案即可滿⾜需求。若採⽤4U設計、搭載6~8 張L40S推理卡，使用氣冷散熱即可滿足需求，但風扇規格則與AI伺服器相似，單價有望提升。

🍖備註: L40S OVX 伺服器可算是 MGX 系列產品喔(客戶有不同尺寸或不同組裝方式等需求)

散熱風扇相關個股，歡迎參考小編所撰寫的文章

🔥 PCB/CCL 

目前市場將L40S視為A100的替代品，不過，L40S只有OAM 板(開放運算專案加速器模組)，沒有UBB底板 (通用基板)。OAM板材料屬Very Low Loss CCL板材(10層M6級CCL)，規格低於NVIDIA A100/ H100，但每額外搭載⼀張L40S，仍可帶動 CCL材料需求成長，有助於填補CCL業者的產能利⽤率，對CCL產業獲利仍略有貢獻。 概念股: 6213 聯茂 , 2383 台光電 , 6274 台燿, 2368 金像電, 8358 金居

✏️ 6213 聯茂

L40S 最大受惠者，相關營收貢獻將於2024年增加2%

(但須留意，2024年AI伺服器佔整體收入貢獻僅為3%) 

AI 伺服器 CCL產品 市占率 

2023 10%

2024 10%

2025 8%

✏️2383 台光電

Nvidia OAM與UBB板CCL材料主要供應商 (佔比高達70%) 

AI 伺服器 CCL產品 市占率 

2023 72%

2024 63%

2025 55%

✏️ 6274 台燿

全球最大高速CCL廠，市占率達20-25% 

主要聚焦於非Nvidia的UBB高階CCL 產品，2023Q1接到新客戶Very Loss Low訂單，用在AI UBB (通用基板) (下一代UBB和OAM板將有進一步的材料升級，結構方面也可能變得更複雜，台燿有望受惠)

AI 伺服器CCL產品 市占率 

2023 8%

2024 18%

2025 28%

✏️2368 金像電

Nvidia OAM/UBB 板 認證中

✏️8358 金居

高頻高速銅箔 (屬上游原料) 

💎小總結 
由於 L40S無須採用CoWoS 封裝，近期台積電 CoWoS 封裝產能吃緊，A100、H100 面臨缺貨，L40S 可作為對於算力要求較低的替代方案之一。目前，對於北美雲端供應商(CSP) 與其他科技大廠而言，主要還是針對大型演算法訓練，大廠仍積極採購 H100/A100，意在強化其大型算力儲備，L40S則是較針對小規模語言模型，因此， L40S 並不會對既有 H100、A100 的需求造成太大的排擠效應，但 L40S卻可以為Nvidia補足中小型企業客戶對於 AI 的渴望。

NVIDIA L40S為目前市場上最強大的通用GPU，具有競爭力的價格，有助於填補部分 A100/H100 難以觸及的潛在平價市場，另外，L40S定位為中低階，目前未被列入出口中國的管制名單，如果能符合美國禁令的標準，也可望進入中國市場。

🎀 免責聲明：投資涉及風險，請在做出任何投資決策前，謹慎評估個人風險承受能力。

以上僅為知識分享，不構成投資建議。

🎀 以上皆為小編獨自製作完成，若有不足之處敬請指教。

🎀 本帳號不推薦任何股票，純屬個人學習分享。

🎀 本貼文圖表為小編自行搜集資料統整制作而成, 如承蒙引用, 煩請知會,非常感恩🙏🏻

📝 參考資料: 

• 凱基證券 美國科技產業-Nvidia 財報再次驚艷市場(2023 0824 張庭豪)
• 富果研究-群聯法說會營收下滑但毛利率亮眼！群聯布局 AI 的下一步是什麼？(2023 0813 Alex Huang) 
• YT- 股市shin先生 (2023 0828)
• YT- 謝宗霖 分析師
• YT- 林睿閎分析師-AI誰掉單？誰下個月營收創高 (2023 0805) 
• EE Times, 系統製造商將推出 Nvidia 人工智慧就緒伺服器 ( 2023 0828)
• 經濟日報- NVIDIA 推出搭載 L40S GPU 的 OVX 伺服器 (2023 0810)
• Morgan Stanley- Nvidia L40S GPU Beneficiaries (31 Aug 2023)
• 國泰期貨-國泰證券-產業更新-半導體先進封裝 (2023 0822)
• 台股產業研究室blogspot-關注 AIGC 看 PCIe 5.0 關鍵供應商 (2023 0429 Jason Wang) 
• 蕃薯藤- 輝達大秀AI晶片肌肉 黃仁勳誇口：GH200世界最快！(2023 0809 )
• Jason Communications-NVIDIA Omniverse是什麼？個人用免費版如何下載？(2022 0217)
• 鉅亨網-新一代OVX平台下半年問世華碩躋身新供應商 (2023 0809)
• Yahoo-NVIDIA NVLink 為何能大幅提升效率的關鍵：全新 CPU 、 GPU 高速通道與 GPU 對 GPU 的直接溝通 (2014 1122)
• Yahoo-下一波晶片搶購潮 蠢蠢欲動 (2023 0901) 
• 定錨產業筆記
• 萬寶龍軟體
• Asus 官網/ Supermicro 官網/ Intel 官網
• Storage Review-Lenovo SR675 V3 和 NVIDIA L40S GPU 幫助驅動下一代人工智能係統 (Lyle Smith 2023 0809)
• Sabrepc- New NVIDIA Ada Generation GPUs L40S (2023 0809)
• Serve The Home- NVIDIA L40S GPU for Data Center Visualization Launched (Cliff Robinson 2023 0808)
• Forbes- NVIDIA L40S: A Datacenter GPU For Omniverse And Graphics That Can Also Accelerate AI Training & Inference (Karl Freund 2023 0830)
• CSLT-Taiwan PCB/CCL AI Playbook (Kevin Chen, Sam Kao 2023 0830)
• Morgan Stanley- Asia Tech Conference: AI Hardware-Time to Buy of Take Profit? (2023 0829 )
• Haitong International- Nvidia Corporation, Likely a Beat and Raise into Earnings, Landscape Shift in 2024 (2023 0814 Anson Tong CFA , Jeff Pu CFA )

  📝 AI業務佔整體營收比重數值參考: 

• 摩根史坦-Morgan Stanley-AI Supply Chain Tracker (2023 0821) 
• 凱基證券-產業報告-電子硬體產業(2023 0803 向子慧 余昀澄)
• 高盛-Goldman Sachs- AI server content upgrade to continue; L40S drives server mainboard demand (2023 0830 Chao Wang, Allen Chang, Daiki Takayama)