《69th IEDM 2023 Short Course 1》
2023年初，OpenAI 帶來生成式 AI 的實際生活應用，讓 Nvidia GPU, AI server 及 Broadcom 網路交換器供不應求，為了打造既便利又有效率的生活，全球都在追逐這一場新的契機。但是，以目前的終端設備，不論是手機、NB/PC、電動車或是先進醫療，在與 Cloud 連接、運算與等待回覆的過程中，延遲性高，同時耗費過多的電力，因此，若是能在 Cloud 與終端設備之間，再加一道 Edge Computing Device (邊緣運算裝置)，必定更即時接收到所需要訊息，此時，intel 發展 AI PC宣示〝AI Everywhere〞；AMD 提供完整 CPU 與 GPU 串聯；MTK 發表手機 AI 運算晶片，更新終端設備硬體規格，而這些晶片製作，都是交由 foundry (半導體代工廠) tsmc/SAMSUNG/intel 生產出來。
為了訓練 AI 即時 (Real time) 回覆，如同人類思考與神經傳達速度，科技巨頭們定下每年目標：1. 效能 +30% 2. 電晶體數量成長 1.4x 3. 每單位能量耗損 -20%，因此，我們必須精進半導體製程，同時下更多的努力。
《BSPDN, Back Side Power Delivery Network》
目前，晶片運算的電晶體已經發展至 FINFET/GAA 製程，隨後，還需要透過 Cu process (銅製程) 拉出導線，才能讓晶片在通入電壓後順利運作。但是，我們思考一件事，當電器連接的延長線愈拉愈長，會有更多額外的電能消耗在電線上，造成電費增加；同樣的，在 7nm 之後，FINFET 愈做愈小，要拉出 Cu 導線的技術，會以指數倍增加設計難度，不僅愈疊愈多層，導線也會愈拉愈長，因此，Cu 導線所產生的 IR drop (壓降/能量耗損)，就更無法忽略。
IC 設計在近 20年來，Cu process 的配置一直從前段製程之後，一路向上疊層與繞線，再到最後封裝，所以 7nm 以後的世代，後段 Cu 導線設計難度愈來愈高，線寬更小造成製程難度飆高，在 3nm之後，IR drop 已達臨界水位，不僅吃掉了能耗，產生過多的熱能，更降低晶片的表現。若是能夠降低 Cu 導線所產生的 IR drop，企圖達到每年每單位能耗 -20% 的目標，那麼，我們需要迎來近 20年來的轉折點，新穎的設計變更：BSPDN (Back Side Power Delivery Network)。如圖所示，將 Power 的 Cu 導線由晶面製程，轉移至晶背製程，保留 Signal 的 Cu 導線走在晶面，不僅放鬆晶面 Cu 導線的設計，降低 Cu 製程難度，也達到降低 IR Drop 的目的與緩和整體晶片的散熱效果，這也是目前三大玩家在 2nm 開發中的新技術。
BSPDN 在綜合效應上，確實提供一項提升效能的解決方案，但是也為半導體製程帶來不少挑戰。首先，在 wafer bonding 上，面臨 TSV (矽穿孔技術) 讓兩片 wafer 貼合與串接的挑戰。其次，在做 BSPDN 之前，wafer thinning 的難度增加，同時也會提高後續黃光製程對準的難度。另外，在 wafer edge 的良率更會直接殺掉整體毛利。儘管挑戰重重，但是，這是一條必經之路。
《HI, Heterogeneous Integration》
為了讓效能提升，現階段電晶體製程已經從 FINFET 走向 GAA，但是我們需要更多的電晶體提高運算能力，就必須再增大晶片的面積。讓我們思考一件事，一顆晶片受到一顆 particle 汙染，若是無法使用，就必須報廢而損失一顆晶片。如下圖示，假設一片晶圓可生產大 IC 100顆，若是受到一顆 particle 汙染，那就只剩下 99顆 IC。假設一片晶圓可生產小 IC 1000顆，損失一顆小 IC，至少還有 999顆可以用，這也是為什麼走到 5nm 以下的設計，chiplet 開始盛行，將大 IC 拆分成不同工作的小 IC晶片，可使用的總晶片數量變多，再搭配 HI 技術(Heterogeneous Integration)，將這些 chiplet 封裝整合，一樣可以達到生產單一顆大 IC 的目的 (即電晶體數量增加)。這種方式，除了可以增加製程良率與晶片效率，更直接影響毛利，這就是目前市場上主要玩家所追逐的延續摩爾定律的技術 (More than Moore)！
《Opportunity》
根據 IDC 的預測資訊，全球會以每年 1.3x 的速度產生網路數據，至 2025年全球可達 >160ZB，market.us 推測邊緣運算的市場將以 CAGR 18% (2022 - 2032) 成長至 206B USD，其中又以硬體設備佔比最高 (45% @ 2022年)。2022年以來，不論是美國、中國、印度或是歐盟，都在擴大網路通訊基礎建設，都是在為未來的邊緣運算做準備。過去除了電競以外，我們總是認為硬體效能過剩，在 ChatGPT-4 出現之後，新的軟體應用反而推進硬體設備的追逐競賽，那麼在邊緣運算裝置上投資與開發，就是新的契機 。
回顧近20年的科技演進：1998年 Microsoft/intel 將 PC 推上高峰，家家有電腦；2008年 Apple 開發 iPhone 3，改變了智慧型手機的走向，開啟人手一機的世代；2023年 OpenAI/Microsoft 將生成式 AI 帶入生活，AI/Auto/IoT 正在定義新的未來，這些都有一個共通點：晶片。根據 Garnert 推估，全球 foundry 的營收 CAGR 12.1% (121B, 2023 ~ 192B USD, 2027)，其中 3nm 以下將會翻倍成長 (2.9B, 2023 ~ 61B USD, 2027)，因此 BSPDN & HI 所帶來的產業效應將會放大，尤其是 BSPDN 面對 TSV 及 wafer thinning 的挑戰，會需要 foundry 與供應鏈的合作：ALD (Atomic Layer Deposition) 可以為 GAA & TSV 製程提供更優化的表現 (Key player: Applied Material, 天虹科技)；而 wafer thinning 需要 Etch/Cleaning/CMP 的配套措施，讓製程更精進 (Key player: TEL, 3M, 中國砂輪)。
以此文紀念 Gordon Moore (1929 - 2023) & 施敏 (1936 - 2023)
《參考文獻》
[1]. SC1-1: Advanced Technology Requirement for Edge Computing, Jie Deng, Qualcomm
[2]. SC1-2: Process Technology Towards 1nm and Beyond, Tomonari Yamamoto, TEL
[3]. SC1-3: Empowering Platform Technology with Future Semiconductor Device Innovation, Jaehun Jeong, Samsung
[4]. SC1-4: Future Power Delivery Process Architectures and Their Capability and Impact on Interconnect Scaling, Kevin Fischer, Intel Corporation
[5]. SC1-5: DTCO/STCO in the Era of Vertical Integration, Y.K. Chong, ARM Ltd.
[6]. SC1-6: Low Power SOC Design Trends/3D Integration/Packaging for Mobile Applications, Milind Shah, Google
[7]. International Data Corporation, idc.com
[8]. The Rise of Real-Time Data: How Striim Helps You Prepare for Exponential Growth, Steve Wilkes, striim.com
[9]. Edge Computing Market to Reach US$ 206 Bn by 2032; North America dominates with 42% of the Market Share, Market.Us, globenewswire.com
[10]. gartner.com
[11]. intel innovation 2023, intel.com
