台積電, AMD, INTEL 科技大廠在忙什麼?《68th IEDM Short Course, 2022》

更新於 發佈於 閱讀時間約 11 分鐘
投資理財內容聲明

《後疫情時代的來臨》

在 Covid-19 疫情大流行過後,歐美及亞洲大部份的國家都已經開放國門,所以世界都已經慢慢地回到疫情前的生活。去年 (2021) 在疫情期間,IEDM 舉行了現場與線上同步的 67th 屆會議,想起當時主持人的開場感嘆了一句:「Amazing!」形容經歷過去一整年 (2021) 的封閉,又再次回到現實生活,是一種充滿感恩的解脫。一年之後 (2022),IEDM 68th 屆會議又更如以往一般的正常,同時今年也是〝電晶體〞(Transistor) 誕生的 75th 週年。另一方面,當點開 68th IEDM 在 Youtube 的宣傳影片,開頭就直接了當地說:「Semiconductor technologies are impacting our lives, today, and shaping our tomorrows.」即是,半導體已經深入在我們的生活,同時,半導體也持續塑造著我們的未來。因此,今年的會議又更顯重要了!

68th IEDM 有很多先進技術的討論與發表,同時也有兩個 Short Course 討論 (表列於參考文獻),這兩個主題的主講人都來自於世界最知名的大機構 (如 台積電, Intel, AMD, Samsung, IMEC 等),在分析完這兩堂課的資料後,本文主要分享科普知識。


《超級電腦的演進》

1984年,超級電腦的運算能力達到了 1 gigaflops (每秒10的9次方浮點運算),隨著科技不斷地進步,在半導體技術沿著摩爾定律 (Moore’s Law)的推進下,也讓超級電腦持續以每 1.2 年 2倍的運算能力演進,今年 (2022) Frontier 採用 AMD CPU 與 GPU 同時搭載DDR4 DRAM 並採用 PCIE Gen-4 連結,終於讓運算能力首次衝上了 1.1 exaflops (每秒10的18次方浮點運算),這絕對是非常驚人的速度,接著要再挑戰 1 zettaflops (每秒10的21次方浮點運算),已經是科技發展的重點了。


raw-image


《科技始終來自於人性》

人工智慧 (AI, Artificial Intelligence) 與高效能運算 (HPC, High Performance Computing) 產品持續的在我們的身邊運作,舉例來說:生活中可能會使用自駕車 (Autonomous cars) 代步,自駕系統內需要圖像分類 (Image classification) 協助行車安全判斷;出遊前我們會參考氣象預報 (Weather Forecast),當作是旅遊計劃的一部份;家庭或政府機構所使用的安控系統 (Security),甚至在氣候變遷 (Climate science) 的議題討論,或是 Covid-19 演化後,需要醫學辨識 (Medical imaging) 來抓到隱藏的變種病毒所使用的生物科技 (Biomedical research),這些全都需要靠 AI 與 HPC 機器的協助運算。從另一個角度來看,我們每天所產生的數據,提供給 AI 運算的參數,正在以每 2.3 個月 2倍的速度增加,換句話說,為了避免讓資訊延遲,只有創造更強運算能力的機器,才能消化這些快速增長的數據。由於我們希望生活更好更便利,這就是我們一直持續創造 1 zettaflops (每秒10的21次方浮點運算) 超級電腦最大的動力。


《運算效率》

早期超級電腦只使用 CPU 的單一配制,便可達到了高階運算。近年來,為了讓效率提升,開始同時採用 CPU 與 GPU 的設計,由於CPU 與 GPU 運算方式不同,這樣的硬體配制,再搭配軟體的撰寫,也確實讓效率提升。因為使用 GPU/CPU 的比例搭配,可以產生更有效率的結果,因此在 Frontier 上,更是使用了 GPU/CPU 4倍的比例,達到了運算能力的 1.1 exaflops 穩定表現。同時,依照目前 GPU 內電晶體的需求成長速度,已經超過了 CPU 的1.1 倍,這也讓電腦科技大廠的佈局上,出現了洗牌與併購的效應。

不只需要高效能的處理器 (GPU/CPU),同時也需要更高的容量、更快的讀寫速度,以及更大的頻寬的記憶體,因此,更推動了 DRAM DDR5 以及 SSD PCIE GEN-5 的應用。

隨著光學與物理的極限,想要繼續延著摩爾定律 (Moore’s Law) 往下走的難度愈來愈高,因此,開始從二維轉成三維的製程,也藉由 3D 封裝技術,持續的讓電晶體的密度愈來愈高,因而推進摩爾定律,也就是說,為了晶片的效能提高,未來也會有更多的記憶體與處理器藉由 3D封裝在同一顆 IC 晶片內,除此以外,也可以降低電能的損失。


《電力轉換效率》

我們經常使用高效能運算的產品,如手機 (Client) 連結到 Datacenter 或是 Server (Cloud),讓生活更便利,卻也讓電力的總耗損不斷地增加。根據統計結果,在 Datacenter 內,電力佔比分別以 IT 設備 (45%) 與 散熱系統 (38%) 居前二位;再進一步探討,內部運算系統電力佔比僅僅是是 IT 設備內的 52%,換句話說,Datacenter 內的運算系統電力佔比只有 23% (45% 內的 52%),在電力轉換運算能力的效率來看,還有改善的空間。亦如前段所提到的,除了利用 GPU/CPU 的配制可以增加電力轉換運算能力的效率以外,電源管理晶片 (PMIC) 也是一個很重要的角色。目前 GaN (III-V族,第三代半導體) 是比較有潛力可以發揮絕佳效率的電源管理方案。然而,耗電量位居第二的散熱系統也是無法忽視的重點,因為機器在運轉時,除了將電力轉換成高效能運算以外,同時也會產生巨量的熱能,所以需要散熱裝置的協助。過去常規使用銅片來輔助散熱,目前已經逐漸走向水冷式 (Liquid cooling) 或者使用浸沒式 (Immersion cooling) 更加快速協助機器冷卻,避免熱當機。


raw-image


《抓住機會》

總結來說,科技,始終來自於人性。我們想要的便利,造就了更快速更有效率的 AI、HPC 與 Datacenter/Server 進化,這些帶動了 GPU 與 CPU 的電晶體密度提高,尤其以 GPU 的成長速度更快,也改變了機器內 GPU/CPU 的配置比例,來達到更有效率的運算。同時,透過 3D 封裝技術,增加電晶體的密度,將更多的記憶體封裝在同一顆 IC 內,提升效能。高效能運算,也一併帶動了 DRAM DDR5 & SSD PCIE GEN5 的容量需求增長,擁有更快的讀寫速度

另一方面,從 exaflops 往 zettaflops 邁進的路上,電力轉換運算能力的效率,必定是個重點,那麼,電源管理晶片採用 GaN (III-V族,第三代半導體) 會有較佳的管理方案,同時,散熱系統佔耗電量的比例也大,已經從銅片散熱走向水冷式 (Liquid cooling) 或者使用浸沒式 (Immersion cooling) 的產業佈局

科技的進步,電力的需求與總耗電量是沒有上限的,所以也需要更好的儲能與發電系統,因為我們在追求的,是更佳的電能轉換效率


《參考文獻》

[1]. 2022 IEEE IEDM Short Course 1: High-Performance Technologies for Datacenter and Graphics to enable Zetta Scale Computing

[2]. 2022 IEEE IEDM Short Course 2: Next-Generation High-Speed Memory for AI and High Performance Compute

[3]. Future of High-Performance Computing: Software, System and Transistor, Wilfred Gomes, Intel

[4]. Memory solutions for HPC & AI: An Overview, John Wuu, AMD

[5]. W. Gomes, A. Koker, & P. Stover, "Ponte Vecchio: A Multi-Tile 3D Stacked Processor for Exascale Computing"

[6]. K. M. U. Ahmed, M. H. J. Bollen, and M. Alvarez, "A Review of Data Centers Energy Consumption and Reliability Modeling", IEEE Access, Nov. 2021

[7]. K. M. U. Ahmed, M. Alvarez and M. H. J. Bollen, "Reliability analysis of internal power supply architecture of data centers in terms of power losses", Electr. Power Syst. Res., vol. 193, Apr. 2021.

[8]. T. L. Vasques, P. Moura and A. de Almeida, "A review on energy efficiency and demand response with focus on small and medium data centers", Energy Efficiency, vol. 12, no. 5, pp. 1399-1428, 2019.

[9]. C. Jin, X. Bai, C. Yang, W. Mao and X. Xu, "A review of power consumption models of servers in data centers", Appl. Energy, vol. 265, May 2020.

留言
avatar-img
留言分享你的想法!
avatar-img
張晶晶的沙龍
3會員
13內容數
張晶晶的沙龍的其他內容
2023/12/30
2023年初,OpenAI 帶來生成式 AI 的實際生活應用,讓 Nvidia GPU, AI server 及 Broadcom 網路交換器供不應求,為了打造既便利又有效率的生活,全球都在追逐這一場新的契機。但是....
Thumbnail
2023/12/30
2023年初,OpenAI 帶來生成式 AI 的實際生活應用,讓 Nvidia GPU, AI server 及 Broadcom 網路交換器供不應求,為了打造既便利又有效率的生活,全球都在追逐這一場新的契機。但是....
Thumbnail
2023/03/22
缺蛋不是問題,供需終究會平衡,如何降低缺蛋的機率才是問題。相同地,我們在企業管理上,維持低檔的出事機率才是長久經營的好解藥。當別人無法生產,只有我們能夠即時提供產能的時候,那就是我們贏得市場最好的時機!
Thumbnail
2023/03/22
缺蛋不是問題,供需終究會平衡,如何降低缺蛋的機率才是問題。相同地,我們在企業管理上,維持低檔的出事機率才是長久經營的好解藥。當別人無法生產,只有我們能夠即時提供產能的時候,那就是我們贏得市場最好的時機!
Thumbnail
2023/02/28
原本只以為是一場遠離煩躁社會的自然行程,但是,當我搭船穿越瀨戶內海的時候,海面是難以想像的穩定;當我站上寒霞溪的端點,或是鷲羽山的觀賞口,遠望著瀨戶內海,又給了我一種平靜。 旅行沒有目的,但是能讓自己的想法更遠更清楚:未來,我還能再多做什麼!
Thumbnail
含有成人內容
2023/02/28
原本只以為是一場遠離煩躁社會的自然行程,但是,當我搭船穿越瀨戶內海的時候,海面是難以想像的穩定;當我站上寒霞溪的端點,或是鷲羽山的觀賞口,遠望著瀨戶內海,又給了我一種平靜。 旅行沒有目的,但是能讓自己的想法更遠更清楚:未來,我還能再多做什麼!
Thumbnail
含有成人內容
看更多
你可能也想看
Thumbnail
創作者營運專員/經理(Operations Specialist/Manager)將負責對平台成長及收入至關重要的 Partnership 夥伴創作者開發及營運。你將發揮對知識與內容變現、影響力變現的精準判斷力,找到你心中的潛力新星或有聲量的中大型創作者加入 vocus。
Thumbnail
創作者營運專員/經理(Operations Specialist/Manager)將負責對平台成長及收入至關重要的 Partnership 夥伴創作者開發及營運。你將發揮對知識與內容變現、影響力變現的精準判斷力,找到你心中的潛力新星或有聲量的中大型創作者加入 vocus。
Thumbnail
這篇文章探討了臺灣在人工智慧伺服器生產上的技術優勢以及過去半個世紀科技產業的發展。摩爾定律、吉爾德定律和梅特卡夫定律都對科技產業產生了深遠的影響,其中摩爾定律促成了電腦和電子產品的逐漸普及。此外,文章還探討了蘋果、微軟和英特爾在科技領域的崛起,以及智慧手機和ARM架構對微軟和英特爾的挑戰。
Thumbnail
這篇文章探討了臺灣在人工智慧伺服器生產上的技術優勢以及過去半個世紀科技產業的發展。摩爾定律、吉爾德定律和梅特卡夫定律都對科技產業產生了深遠的影響,其中摩爾定律促成了電腦和電子產品的逐漸普及。此外,文章還探討了蘋果、微軟和英特爾在科技領域的崛起,以及智慧手機和ARM架構對微軟和英特爾的挑戰。
Thumbnail
這是我最近在『網路安全停看聽』Podcast企劃的一集,文末會提供podcast單集連結,想讓眼睛休息的格友們也可點選收聽喔! 今年NVIDIA輝達這家公司在世界掀起了旋風,不管你之前有沒有購買這家公司的股票,當執行長黃仁勳先生訪台,台灣各家媒體爭相報導下,你總應該注意到這家厲害的公司了。Go
Thumbnail
這是我最近在『網路安全停看聽』Podcast企劃的一集,文末會提供podcast單集連結,想讓眼睛休息的格友們也可點選收聽喔! 今年NVIDIA輝達這家公司在世界掀起了旋風,不管你之前有沒有購買這家公司的股票,當執行長黃仁勳先生訪台,台灣各家媒體爭相報導下,你總應該注意到這家厲害的公司了。Go
Thumbnail
本文作者美籍港裔的黃漢森和(Philip Wong)和Jim Plummer都是史丹佛大學的電機科學家,在這本《矽三角:美中台與全球半導體安全》的論文集中,首先就由他們兩位通曉半導體技術面的專家從整個半導體產業的範圍、美國國防部對晶片的特殊需求、全球半導體產業鏈的區域分工與各區優劣勢等方面進行介紹
Thumbnail
本文作者美籍港裔的黃漢森和(Philip Wong)和Jim Plummer都是史丹佛大學的電機科學家,在這本《矽三角:美中台與全球半導體安全》的論文集中,首先就由他們兩位通曉半導體技術面的專家從整個半導體產業的範圍、美國國防部對晶片的特殊需求、全球半導體產業鏈的區域分工與各區優劣勢等方面進行介紹
Thumbnail
只參加有興趣的半導體相關演講,第一手摘要: 地點:台北華山文創園區 Legacy 10:00-10:20 生成式 AI - 驅動創新的全新動能 NVIDIA資深協理 康勝閔 10:40-11:00 AI 開啟 IC半導體黃金時代 聯發科技股份有限公司前瞻技術平台資深處長 梁伯嵩博士
Thumbnail
只參加有興趣的半導體相關演講,第一手摘要: 地點:台北華山文創園區 Legacy 10:00-10:20 生成式 AI - 驅動創新的全新動能 NVIDIA資深協理 康勝閔 10:40-11:00 AI 開啟 IC半導體黃金時代 聯發科技股份有限公司前瞻技術平台資深處長 梁伯嵩博士
Thumbnail
近日 Intel 宣布推出第 13 代 Core i9-13900KS 處理器,將運作時脈一口氣提升至 6.0GHz,標榜成為地表上最快的桌上型 PC 處理器。2023 年正值 CPU 改朝換代之際,最新推出的 Intel 第 13 代相較上一代核心數更多、時脈更快,效能更高。
Thumbnail
近日 Intel 宣布推出第 13 代 Core i9-13900KS 處理器,將運作時脈一口氣提升至 6.0GHz,標榜成為地表上最快的桌上型 PC 處理器。2023 年正值 CPU 改朝換代之際,最新推出的 Intel 第 13 代相較上一代核心數更多、時脈更快,效能更高。
Thumbnail
在 HPC 晶片與 AI 共同成長下,搭配高速傳輸 DDR5 與 GEN5 的硬體配置,資料取得更快速且有效率。目前已逐步運用在電動車上,並且搭配 CIS 及 ADAS 等 sensor 提高自駕的安全系數,能夠在車上玩電競或透過 AR 裝置進行社群活動,已經是未來ing!
Thumbnail
在 HPC 晶片與 AI 共同成長下,搭配高速傳輸 DDR5 與 GEN5 的硬體配置,資料取得更快速且有效率。目前已逐步運用在電動車上,並且搭配 CIS 及 ADAS 等 sensor 提高自駕的安全系數,能夠在車上玩電競或透過 AR 裝置進行社群活動,已經是未來ing!
Thumbnail
科技,始終來自於人性。我們想要的便利,造就了更快速更有效率機器,運用 GPU, CPU, 3D 封裝提升運算能力,再搭配 DDR5, SSD 擴展讀寫速度,PMIC 與水冷系統加強電能效率與散熱,並且需要儲能方案,讓生活繼續往前行!
Thumbnail
科技,始終來自於人性。我們想要的便利,造就了更快速更有效率機器,運用 GPU, CPU, 3D 封裝提升運算能力,再搭配 DDR5, SSD 擴展讀寫速度,PMIC 與水冷系統加強電能效率與散熱,並且需要儲能方案,讓生活繼續往前行!
追蹤感興趣的內容從 Google News 追蹤更多 vocus 的最新精選內容追蹤 Google News