科技小白 | NVIDIA台灣協理演講筆記：Further with AI, Faster on RTX

前幾天有幸聽到NVIDIA台灣區協理Alex的演講，談GPU的基本知識以及其在產業間的重要性。身為非理工科系相關的學生，Alex的分享內容淺顯易懂，也讓我這個初接觸半導體領域的科技小白對GPU有了更全面的理解。Alex同時談了很多Jensen的理念和NVIDIA的遠見及未來，有感而發，連走在半導體科技最尖端的輝達，還是能持續以不斷突破為目標布局企業的下一步，也瞬間能理解為何NVIDIA能從GPU的0走到1，並且在半導體業界屹立不搖。

順手做了些講座筆記，加上在網路上蒐集、學習到的一些資料，整理了一下演講內容，希望半年、一年後我回來再看到這篇文章，已經能駕輕就熟，又建立更多半導體產業的KNOW-HOW。

從CPU到GPU，CPU與GPU協同工作的時代

CPU（Central Processing Unit，中央處理器）雖然比GPU（Graphic Processing Unit，圖形處理器）更早流通於商業應用上，但當今GPU卻是更多人關注焦點。GPU的發展已從最初的圖形渲染用途擴展到計算加速（加速器），加快了AI發展。假設現在我們想要訓練一個大型的神經網絡（深度學習模型），單憑CPU可能需要幾天甚至幾周完成，而GPU卻能夠將這個時間縮短至幾小時。

差異在於，CPU專注於單核處理器的效能和通用性質，目標是處理各種任務的邏輯控制，而GPU卻專注在平行處理（Parallel Computing），它的多核心架構非常適合同時處理大量的相同計算任務，譬如上述所說的圖形渲染。

若由技術發展時間線來看，CPU和GPU被開發以及盛行的時間相差約25至30年：

CPU歷史和發展：

• 發展初期（1950s - 1960s）： CPU概念可以追溯到20世紀中期。在1950年代和1960年代，第一代電腦使用真空管作為邏輯電路的電腦，後來被晶體管和集成電路技術取代，開啟了第二代電晶體電腦時代。1960年代，由Intel推出了第一個商業化微處理器—Intel 4004 (1971年)，被稱作現代CPU開端。
• 盛行時期（1970s - 至今）：至1970年代開始，隨著個人電腦普及，CPU逐漸成為各種電子設備中的核心，而CPU的計算能力也隨技術進步顯著提高，並成為所有計算設備的主要處理器，通常執行於計算任務。

GPU歷史和發展：

• 發展初期（1980s - 1990s）: GPU發展相對CPU晚。最早的GPU主要用於個人電腦的圖形渲染技術，協助處理線條會致、多邊形和紋理等功能。最早的圖形加速卡出現於1980s末至1990s初，當時這些圖卡尚未具備現代GPU通用的計算能力，直到NVIDIA在1999年推出了第一款現代意義上的GPU——GeForce 256，此是全球第一款繪圖處理器，具有專門的硬體加速來處理電腦中的圖形計算需求。
• 盛行時期（2000s - 至今）: 2000s後，隨著電腦遊戲和視覺運算的需求大增，GPU發展越發迅速，爾後，GPU開始與平行運算技術結合，逐漸發展出高度平行的架構，可同時處理數千個小型任務。GPU不再只被用於圖形處理，還應用在人工智慧和機器學習（深度學習）等領域，尤其是在深度學習中表現出色。

雖然回顧技術歷史，CPU比GPU早好幾十年進入商業應用，但隨著科技進步、AI發展，GPU已發展成當今備受重視的強大運算工具，在現代的各種計算需求中和CPU互補。

所以平行運算到底是什麼？

早期電腦運算方式是串行運算（Sequential Computing），也就是CPU最主要的功能。這種方式強調一個處理器（或一個計算單位）依照順序一一處理各項任務。串行運算可以想像成早期用電腦來檢索資料，我們在Google引擎上輸入一個想知道的資料，電腦就會從資料庫裡的第一條資料開始逐一檢查，直到找到符合的結果，並且每次只能處理一條資料，檢查完一條再處理下一條。

然而，現在的平行運算（Parallel Computing）則可以同時處理多項任務或多個數據資料，它通常擁有多個核心或處理單元來同時執行不同的運算程式，因為它有數千個較小的處理核心。也因此GPU在AI模型和推理過程訓練特別有用。AI領域的深度學習、圖像生成、自然語言處理（Natural Language Processing, NLP）等，都需要大量、複雜的計算，GPU的強大平行處理能力和高速數據傳輸速度，非常適合計算這些密集任務。以2021年底開始備受討論的生成式AI（Generative AI）來說，它就是高度依賴GPU的平行運算技術來實現多元模型的訓練和推理。

Alex用了一個很好理解的比喻來說明平行運算作用於AI模型訓練的厲害之處（對我這個科技小白來說XD）：機器人手臂。

早期工程師在設計機器人手臂時，可能需要編寫多條程式語言來精確控制其動作，告訴機器人舉起高度、角度、時間、手臂握力等。不過，得益於平行運算技術，它的作用在於同時處理這些參數計算，而非像以前一般一步步處理它們，能更快速生成最佳的控制方案。此外，透過AI模型的訓練，工程師只需輸入簡單的語句或指令（一句話），AI就能自動生成合適的動作控制程式，並完成具體的任務指令。

還記得我在生成式AI大爆發的2023年上半年，在媒體《數位時代》下的Meet創業小聚實習，撰寫了多篇關於AI科技新創的相關報導，常提到「只需一句話，AI就能為你完成某項任務」這樣的描述，當時總是根據採訪的新創公司，拼命理解生程式AI的運用場景、為產業帶來的效益，如今，才真正對生成式AI的底層邏輯和技術基礎有了更全面的了解。

GPU在各產業的重要性

Alex說，許多人認為NVIDIA獨大，但實則上只是因為Jensen敢嘗試，在別人還不敢踏入GPU領域時就一頭栽入，並且將技術做到其他新進者難以追趕上的程度。

一直到現在，NVIDIA仍然不斷思考GPU的可能性、運用，以及如何去告訴消費者（2B）他們需要或可以怎麼使用這些技術。現在，基本上大型公司在設立預算時一定會可慮GPU，而非只有CPU。GPU已經遍及了許多產業與應用。

記得Jensen曾說過：

Success is a work in progress, it’s not about achieving a goal, it’s about constantly improving and pushing boundaries.

（成功是正在進行的過程，成功並不是實現目標，而是不斷改進以突破界線）

成功是個過程，這句話真的是發人深省。這個理念確實也反映在Jensen規劃NVIDIA的未來上。他說：「若是重來一遍，我的體悟是，『生命科學』會是最複雜的科學領域」，也因此NVIDIA開始嘗試精進GPU在生物醫學方面的應用，光是去年便投資了20幾家與醫療照護、生醫相關的新創公司。不斷求進步和突破的精神，真是值得學得的部分呀！

By the way，最近一款中國新上式的3A遊戲《黑神話：悟空》，就結合了NVIDIA的GeForce RTX™ 40 系列GPU 和光線追蹤核心，原本就知道這款新遊戲在網路上討論火熱，趁機到官網上看了一下使用GeForce RTX 40 GPU的前後差異，確實在畫面的真實感差了好多，讚嘆科技！