Chiplet是甚麼

1. Chiplet 是什麼？

• Chiplet 設計 就是把一個大晶片分成多個小晶片，這些小晶片各自負責不同功能，然後用超高速連接技術把它們組合起來，讓它們像一個完整的晶片一樣運作。

3. Chiplet 的優點

1. 更容易生產：
2. • 小晶片製作成功率高（良率高），比做一個大晶片更省成本。
2. 性能更強大：
3. • 跨晶片的高速連接技術（如 NVIDIA 的 NVLink-HBI），讓它們像單晶片一樣運作，但更強大。
3. 更靈活：
4. • 想升級功能？只需換掉特定的小晶片，其他部分保持不變。

4. Chiplet 怎麼用？（舉例 NVIDIA B100 晶片）

• B100 晶片 是 NVIDIA 用 Chiplet 設計 做出來的：
• 1. 計算核心（算東西）：放在一塊 Chiplet。
  2. 記憶體（存東西）：放在另一塊 Chiplet。
  3. 輸入輸出（連接東西）：再放一塊 Chiplet。
  4. 用 NVLink-HBI 把這些晶片連接起來，實現高速運作。

5. 簡單比喻

• 單晶片設計：
• • 像建一個超大的房子，所有功能（廚房、臥室、客廳）都塞在同一棟房子裡，房子越大，建造難度越高。
• Chiplet 設計：
• • 把房子拆成幾棟小房子（廚房一棟、臥室一棟、客廳一棟），然後用快速道路連接起來，既靈活又高效。

6. Chiplet 設計的應用場景

• AI 訓練：需要大規模的運算能力（例如 ChatGPT 的訓練）。
• 超算：處理大量數據的超高效能計算。

超高速連接技術把它們組合起來，實際上怎麼做

1. 超高速連接的核心概念

• 目標：讓分成多個小晶片的系統之間能快速交換數據，像單一大晶片一樣高效運作。
• 做法：利用先進的 高速互聯技術（High-Speed Interconnect），在晶片內部或晶片之間傳輸數據。

2. 具體的連接方式

以下是實際連接技術的組成部分和操作方式：

（1）使用先進的互聯技術

• 每個小晶片之間通過特殊的通訊接口或連接技術相互連接，常見技術包括：
• • NVIDIA NVLink-HBI：NVIDIA 使用的技術，支援每秒數據傳輸速度達到 10TB，非常快。
  • AMD Infinity Fabric：AMD 針對 Chiplet 設計的互聯技術，確保低延遲、高頻寬的數據交換。
  • Intel EMIB（嵌入式多晶片互聯橋）：Intel 用於晶片內部的小型高效互聯橋技術。

（2）利用先進封裝技術

• 2.5D 封裝：
• • 在一個基板（基礎平面）上，把多個小晶片（Chiplet）排列在一起，通過基板上的高速連接線路互相連接。
  • 舉例：像 NVIDIA 和 AMD 用的技術。
• 3D 封裝：
• • 把晶片垂直堆疊起來，用垂直連接技術（如 TSV，矽通孔）來實現超高速數據傳輸。
  • 舉例：適合更緊湊的設計，像 HBM（高頻寬記憶體）和處理器的結合。

（3）透過共享記憶體實現高效數據傳輸

• 多個 Chiplet 可以共用一個高頻寬記憶體（HBM3 或 HBM3e），避免數據在不同晶片之間頻繁拷貝，提高效率。
• • 舉例：NVIDIA B100 晶片的設計讓多個 Chiplet 共享 192GB 的 HBM3e 記憶體。

3. 簡單比喻

• 假設每個小晶片（Chiplet）是不同部門的辦公室。
• 傳統方法（單晶片設計）：所有部門的員工都在一層樓內，資料直接交換。
• Chiplet 設計：
• • 每個部門在不同的大樓裡，靠超高速電梯（互聯技術）和共享雲端系統（共享記憶體）快速協作，效率同樣很高。

4. 關鍵優勢

• 速度快：像 NVLink-HBI 這樣的技術，能讓晶片間傳輸速度達到 每秒數 TB。
• 低延遲：雖然分開製作，但連接後的延遲幾乎和單晶片無差。
• 擴展性強：可以隨時增加新晶片組，輕鬆升級整體性能。

5. NVIDIA 的實際應用

• B100 的 NVLink-HBI：
• • 每個 Chiplet 使用 NVLink-HBI 連接，實現超高頻寬（10TB/s）的數據傳輸，讓分散的晶片協同運算。
  • 同時支援共享 HBM3e 記憶體，確保不同晶片間的數據存取效率。

台積電的 3D 封裝技術（例如 SoIC、CoWoS 和 InFO）正是為了支持像 NVIDIA 這樣的先進 Chiplet 設計 和高性能運算需求而誕生的！

1. 為什麼需要台積電的 3D 封裝技術？

Chiplet 設計 把大晶片拆分成多個小晶片，這需要一種技術能：

1. 把多個小晶片組裝在一起。
2. 提供晶片之間的高速互聯。
3. 確保數據傳輸快速且低延遲。

傳統的 2D 平面封裝已經無法滿足這些需求，因此台積電等晶圓代工廠開發了更先進的 3D 封裝技術，專為支持 Chiplet 和高性能計算晶片設計。

2. 台積電的 3D 封裝技術有哪些？

台積電提供了多種 3D 封裝技術，其中一些特別針對 AI 和 HPC 晶片的需求：

（1）CoWoS（Chip-on-Wafer-on-Substrate）

• 特點：
• • 把多個小晶片（Chiplet）放在同一個基板（Substrate）上，確保高速數據傳輸。
  • 支持 HBM 高頻寬記憶體 與計算核心（Compute Chiplet）的緊密連接。
• 應用：
• • NVIDIA 的 A100 和 H100 就使用了台積電的 CoWoS 技術。
  • 適合需要大頻寬記憶體的 AI 訓練晶片。

（2）SoIC（System on Integrated Chips）

• 特點：
• • 將多個晶片垂直堆疊起來（3D 堆疊），通過 TSV（矽通孔）技術實現高密度、高速連接。
  • 極大縮短晶片間的數據傳輸距離，減少延遲。
• 應用：
• • 適合高性能計算（HPC）和更高整合度的晶片，例如 AMD 和 NVIDIA 的未來產品可能使用。

（3）InFO（Integrated Fan-Out）

• 特點：
• • 適合 2.5D 堆疊，幫助 Chiplet 設計中的 I/O（輸入輸出）模組和核心模組連接。
  • 成本相對較低，但帶寬不如 CoWoS。
• 應用：
• • 手機 SoC 和部分低功耗 Chiplet 設計。

3. NVIDIA 如何用到這些技術？

NVIDIA 對台積電的 3D 封裝技術有高度依賴，尤其是以下應用：

1. H100（Hopper 架構）：
2. • 使用 CoWoS 技術，將運算核心與 HBM3 記憶體緊密連接，實現超高記憶體頻寬，適合 AI 訓練。
2. B100（Blackwell 架構）：
3. • 預計會用 3D 堆疊技術（SoIC 或 TSV），將 Chiplet 和記憶體封裝在一起，提供更高密度和性能。
3. NVLink-HBI：
4. • 藉助 CoWoS 或 SoIC，確保 Chiplet 之間的互聯速度高達 10TB/s。

4. 台積電 3D 封裝的優勢

1. 高頻寬：
2. • 3D 封裝縮短晶片之間的距離，讓數據傳輸更快（如 HBM 記憶體與運算核心）。
2. 低延遲：
3. • 先進技術（如 TSV）減少訊號傳遞的延遲，提升 Chiplet 間的協作效率。
3. 高密度整合：
4. • 適合將多個晶片組裝在同一個模組中，增加計算能力。
4. 降低功耗：
5. • 晶片之間直接連接（垂直或短距離水平），減少電能損耗。

5. NVIDIA 和台積電的合作前景

• NVIDIA 的未來晶片（如 B100、B200）需要 Chiplet 設計與高效能互聯，而台積電的 3D 封裝技術（CoWoS、SoIC 等）恰好能提供解決方案。
• 2024 年的 B100 晶片 將是 NVIDIA 與台積電深度合作的成果，極有可能使用台積電最新的 3D 堆疊技術來達到更高性能。

總結

台積電的 3D 封裝技術（如 CoWoS、SoIC）正是為了支持像 NVIDIA 這樣的先進 Chiplet 設計。這些技術讓分散的小晶片能像單一晶片一樣高效運作，為 AI 訓練、推理和高效能計算提供了堅實基礎。簡單來說，NVIDIA 需要更快更強的晶片，而台積電的 3D 封裝就是它實現這一需求的關鍵技術。

3D封裝技術 是目前半導體製造的重要創新，全球能夠掌握這項技術的公司並不多，主要集中在一些頂尖的晶圓代工廠和封裝測試（OSAT）企業。以下是目前在 3D封裝技術 方面領先的公司和技術概況：

1. 台積電 (TSMC)

• 技術：
• • CoWoS（Chip-on-Wafer-on-Substrate）：適合高性能運算（HPC）和 AI 晶片，支持 HBM 記憶體堆疊。
  • SoIC（System on Integrated Chips）：完整的 3D 堆疊技術，支持晶片間垂直連接，應用於 HPC 和 AI。
  • InFO（Integrated Fan-Out）：適合 2.5D 堆疊，主要用於行動處理器和低功耗設備。
• 應用：
• • NVIDIA（如 A100、H100、B100）、AMD（Ryzen 和 Instinct GPU）均採用其技術。

2. 英特爾 (Intel)

• 技術：
• • EMIB（Embedded Multi-die Interconnect Bridge）：主要用於 2.5D 堆疊，將小晶片（Chiplet）連接在一起，適合高效能運算。
  • Foveros：完整的 3D 堆疊技術，支持晶片垂直連接，尤其適合邏輯晶片與記憶體的整合。
• 應用：
• • 自家處理器（如 Ponte Vecchio GPU 和 Sapphire Rapids CPU）採用。
  • 計劃廣泛應用於 HPC 和超算領域。

3. 三星電子 (Samsung Electronics)

• 技術：
• • X-Cube（eXtended-Cube）：用於 3D 堆疊記憶體與邏輯晶片的連接，支持 TSV 技術。
  • I-Cube（Interposer-Cube）：支援 2.5D 堆疊，用於高頻寬互聯和 AI 晶片設計。
• 應用：
• • 自家產品（如 Exynos 處理器）和部分客戶（如高通 Snapdragon 系列）。

4. AMD

• 技術：
• • 雖然 AMD 自己沒有代工能力，但其設計高度依賴 Chiplet 架構，並採用台積電和日月光的 3D 封裝技術。
  • 應用：Ryzen 處理器、EPYC 伺服器晶片、Instinct MI300 GPU 都使用台積電的 CoWoS 和 SoIC 技術。

5. 日月光 (ASE Technology)

• 技術：
• • 3D 封裝與測試解決方案：提供垂直堆疊和 2.5D 封裝的完整服務。
  • FC-BGA（Flip Chip Ball Grid Array）：支援 3D 堆疊的基板連接技術。
• 應用：
• • 為高通、NVIDIA、聯發科提供封裝測試服務。

6. 海力士 (SK Hynix)

• 技術：
• • HBM（High Bandwidth Memory）：高頻寬記憶體的堆疊技術，應用於 GPU 和 HPC。
  • TSV（Through-Silicon Via）：用於垂直連接晶片和記憶體，提升性能。
• 應用：
• • 為 NVIDIA 和 AMD 提供 HBM 記憶體，與 3D 封裝晶片配合使用。

7. 其他公司

• 聯發科 (MediaTek)：
• • 與台積電合作，使用 InFO 技術為手機處理器進行封裝。
• 高通 (Qualcomm)：
• • 採用三星和日月光的 2.5D/3D 封裝技術，用於 Snapdragon 處理器。
• 蘋果 (Apple)：
• • 與台積電合作，為其自研的 M1/M2 晶片使用 2.5D 封裝技術。
• IBM：
• • 開發 3D 堆疊技術，用於伺服器處理器（如 POWER 系列）。

哪些公司能全流程掌握 3D 封裝？

只有少數公司能從設計到量產完成 3D 封裝：

1. 台積電：全球領先，技術全面，應用範圍廣。
2. 三星電子：自家生產能力強，但合作客戶相對少。
3. 英特爾：技術實力強，但專注於自家產品。

其他公司，如 AMD、高通、聯發科等，依賴台積電、三星或日月光等合作夥伴的 3D 封裝技術來完成產品製造。

那市面上到底有多少東西需要3D封裝技術

3D封裝技術 被廣泛應用於多種高性能計算和消費電子領域，特別是在處理器、記憶體和 AI 加速器等方面。以下是整理的市面上需要 3D 封裝技術的主要產品和應用類別：

1. 人工智慧（AI）與高效能計算（HPC）

需求背景：

• AI 訓練和推理需要極高的計算性能以及超大頻寬的記憶體支持。
• 3D 封裝能縮短晶片間的數據傳輸距離，提升性能、降低延遲。

代表產品：

1. NVIDIA Hopper 系列（H100、B100）
2. • 使用台積電 CoWoS 和 SoIC 技術。
   • 支援 HBM3 記憶體和 Chiplet 設計，專為大型語言模型（如 GPT-4）設計。
2. AMD Instinct MI300
3. • AMD 首款 CPU+GPU 整合設計，採用台積電 CoWoS 技術，支持 HBM3 堆疊。
3. Intel Ponte Vecchio GPU
4. • 使用 Intel 自家的 Foveros 3D 堆疊技術 和 HBM 堆疊記憶體，應用於超算（Aurora 超級電腦）。
4. Google TPU v4（雲端 AI 加速器）
5. • 使用 3D 封裝技術來提升推理性能和能效，適用於深度學習訓練。

2. 伺服器處理器

需求背景：

• 雲端伺服器需要高密度、多核心處理器，3D 封裝技術能提升核心數量和記憶體頻寬。

代表產品：

1. AMD EPYC 處理器
2. • 採用 Chiplet 架構，透過 2.5D 封裝 和台積電的 CoWoS 技術將多核心晶片整合。
2. Intel Sapphire Rapids（伺服器 CPU）
3. • 使用 Intel 的 EMIB 技術 來連接多個核心晶片，適用於高性能伺服器。
3. Amazon Graviton 處理器
4. • 針對雲服務設計，可能使用日月光或三星的 2.5D 封裝技術。

3. 高頻寬記憶體（HBM）

需求背景：

• 記憶體頻寬是 AI 和 HPC 性能的瓶頸，3D 封裝技術讓記憶體與處理器緊密集成。

代表產品：

1. HBM2/HBM3 記憶體
2. • 由三星、海力士、美光生產，廣泛應用於 AI 訓練晶片（如 NVIDIA H100）。
   • 3D 堆疊結構（TSV 技術）能將多層記憶體模組集成在一起。
2. HBM3e 記憶體
3. • 最新一代記憶體，計劃應用於 NVIDIA B100 等高效能產品。

4. 消費級處理器與 GPU

需求背景：

• 手機和個人電腦需要高性能且低功耗的處理器，3D 封裝能提升性能並減小體積。

代表產品：

1. 蘋果 M1/M2 晶片
2. • 使用台積電的 InFO 技術進行封裝，提升效能和能效。
2. AMD Ryzen 處理器
3. • 採用 Chiplet 設計，搭配日月光的封裝技術。
3. NVIDIA GeForce RTX 系列
4. • 雖然主要用於遊戲，但部分高端型號（如 RTX 4090）開始結合 3D 封裝技術以支持 AI 推理。

5. 手機處理器

需求背景：

• 手機需要高性能和低功耗的處理器，同時要求體積極小，3D 封裝技術能滿足這些需求。

代表產品：

1. 高通 Snapdragon 處理器
2. • 使用三星或台積電的 2.5D/3D 封裝技術，提升運算性能和散熱效果。
2. 聯發科 Dimensity 系列
3. • 使用台積電的 InFO 技術封裝，針對手機應用優化效能。

6. 可穿戴設備

需求背景：

• 晶片需要高度整合以減小體積，例如智慧手錶和 AR/VR 裝置。

代表產品：

1. 蘋果 S 系列晶片（Apple Watch）
2. • 使用台積電的先進封裝技術，實現高效能與低功耗。
2. Meta Quest Pro 處理器
3. • 可能使用 3D 堆疊技術來支持 AR/VR 運算需求。

7. 汽車電子

需求背景：

• 自動駕駛和車內 AI 系統需要強大的處理能力和高頻寬記憶體支持。

代表產品：

1. NVIDIA Orin 晶片
2. • 使用 2.5D 封裝技術，支持自動駕駛系統的高效能計算。
2. 特斯拉 FSD 晶片
3. • 自家設計，可能使用台積電的封裝技術來實現高性能。