GPU不香了？NPU的低功耗，AI PC能否讓PC重新成為引領世界的潮流｜怪獸科技公司
2024 年，除了是短影音元年，也是 AI PC 元年。
有些人會好奇，為何不用 ChatGPT 這類軟體就好，要將 AI 整合在自己的裝置中呢？AI PC 真有存在的必要嗎？生成式 AI 浪潮下，AI PC 是否能讓 PC 重新成為引領世界的潮流？這篇文章，我們談 AI PC 和當中的關鍵角色，NPU。
怪獸科技公司＠COMPUTEX 2024
什麼是 AI PC？
AI PC 簡單來說，就是將 AI 模型與傳統 PC 緊密結合的裝置。
根據英特爾及微軟的定義，AI PC 須符合以下三個條件：
- 能運行微軟 AI 助理 Copilot。
- 具備 Copilot 實體按鍵（目前市面上 Ｗindows 11 的筆電已陸續採用此設計）。
- 要內建 NPU、CPU 以及 GPU。
NPU 可將 GPU 和 CPU 的負擔減到最少，提高電池使用時間和效能
雖然業界將任何具有 NPU 的 PC 都定義為 AI PC，但微軟對於下一代 AI PC 內 NPU 的最低運算要求是 40 TOPS（每秒兆次運算），若是離線使用 Copilot 的機種，算力則要達到 45 TOPS 以上。
此外，為滿足高算力 AI 應用的需求，AI PC 的記憶體（RAM）容量和速度也將大幅提升，未來 16GB、甚至 32GB 的記憶體空間將成為標配。
延伸閱讀：
為何要用 AI PC？亮點在哪？
隨著生成式 AI 和大型語言模型（LLM）的飛躍發展，作為 AI 直接觸及終端用戶的重要媒介——也就是 AI PC 這類邊緣裝置，成為了 AI 技術發展的關鍵突破口。
未來 AI 工作負載，將普遍存在於公有雲、私有雲和邊緣運算
怪獸科技公司＠ASUS Copilot+PC｜COMPUTEX 2024
根據國際金融服務公司 Morgan Stanley，目前有 65% 的 AI 工作負載在雲端運行，僅 12% 在私有雲、23% 在混合設置中運行。
但未來三年內，隨著更多 LLM 訓練（training）轉向推理（reasoning），雲端將下降至 59%、私有雲上升至 15%，而混合雲則上升至 25%。
也就是說，有更多的工作負載將在本地／邊緣的混合裝置中運行。
由於目前資料中心查詢的成本很高（LLM 查詢的成本是標準關鍵字搜尋的 10 倍），在大多數資料目前仍駐留在邊緣裝置的情況下，降低查詢成本、低延遲成為 AI PC 的關鍵亮點。
資安風險，重要資料不能上雲
除非你砸大錢買 CPU、GPU，否則在雲端運算可能會有不少資安上的風險。
因此，在有些東西不能上雲的情況下，能否在自家裝置進行邊緣運算就很重要了。AI PC 一方面為用戶提供更加個性化的創作、助理，大幅提升內容創作及消費體驗；另一方面，透過本地的 AI 運算能力，更能保護用戶的隱私和數據安全。
AI PC 講求的 CPU+GPU+NPU 又是什麼？
在硬體架構上，AI PC 除了搭載電腦的大腦 CPU（中央處理單元）、用於處理需要大量數據任務的 GPU（圖形處理單元），AI PC 還另外將 NPU（Neural-networking Processig Unit，神經網路處理器）整合至晶片中。
怪獸科技公司＠AMD｜COMPUTEX 2024
NPU 專為 AI 而生，更有效率地處理繁重的工作負載
NPU，是一種專門設計、用於處理特定的運算任務而設計的處理器。
NPU 會將請求分解為更小的任務，然後「同時」處理它們。由於經過專門設計，NPU 可在不利用其他系統處理器的情況下，處理神經網路的巨大需求。
不同於 CPU 專為邏輯運算而生、專門處理電腦的主要運算，又或是 GPU 專為遊戲或圖像運算，NPU 是真正專為 AI 而生的晶片，也因此，在 AI 運算性能、效率跟功耗方面，NPU 相較 CPU 與 GPU 具有大幅優勢。
怪獸科技公司＠Intel, 微軟 Surface Laptop｜COMPUTEX 2024
AI PC 產品與應用情境
目前市面上英特爾和微軟主導的 AI PC 有兩大種：
- 微軟 Surface：Intel Core Ultra
- 消費者端與 OEM 的 Copilot+PC：Qualcomm X Elite（和 Apple M 系列同樣使用 ARM 架構）
以微軟 Surface 商務版搭載的 Intel Core Ultra 處理器為例，就是專為 AI 應用設計的 AI PC。GPU 的部分，它具有比 NPU 更高的 AI 運算效能，但在運作時會消耗更多電力，比較適合應用於影片編輯、圖像生成等高負載、短時間的程式與功能。
怪獸科技公司＠MSI, XBOX GAMEPASS｜COMPUTEX 2024
而 NPU 的特色，是具有較佳的電力效率，在神經網路運算中以較低的功耗完成運算，能夠節省在使用 AI 軟體、功能時消耗的電力，適合應用於視訊會議強化、語音轉寫、即時翻譯等需要長時間執行的功能，讓 CPU 和 GPU 用於更加複雜的 AI 任務，共同發揮強大的算力。
AI PC 與軟硬整合
AI 時代，數據、軟體和晶片三元素缺一不可，由軟體定義硬體之外，也藉硬體協作定義軟體，是個 co-design 的循環，因此逃不了軟硬都要有一定的靈活性。
案例：NVIDIA GPU 與 CUDA
怪獸科技公司＠MSI, NVIDIA｜COMPUTEX 2024
雖然在 AI 領域中備受矚目的 GPU 過往是運用在圖像或遊戲上，但因 GPU 目前相較於 CPU 在 AI 時代更有效率，所以才被大規模採用。
而 NVIDIA 之所以能在 GPU 時代中崛起，也是因為掌握了軟硬體兼具的概念。
NVIDIA 的護城河不在於底層的晶片架構（畢竟高通和 Intel 等大廠也有自家 GPU），而是在於軟體生態系，也就是 CUDA（統一計算軟體架構平台）。
硬體改變雖然困難，但由於軟體能透過快速的改變速度定義硬體，藉由 CUDA 就能讓 GPU 改變的難度降低。
低功耗的優勢，來自 NPU
談到 AI，我們通常會先想到 GPU，但是就好比 Google 自研類似 NPU 架構的晶片 TPU，就是因為價格過於昂貴。
雖然 GPU 晶片目前在 AI 市場上占據主導地位，但 AI 應用的爆發式發展，也產生了巨大的能源消耗，未來電費將可能占據整體 AI 運營成本的 40％。
由於碳中和已是大勢所趨，除了更高的算力、更優異的性能，實惠的成本與節能勢必會成為客戶考慮的因素。在此之中，NPU 就扮演非常重要的角色。
根據邊緣 AI 運算晶片廠耐能智慧執行長劉峻誠的解釋，如果把未來百花齊放的 AI 應用比喻為城市裡的大街小巷，那麼 CPU 之於這座城市就像是坦克車，GPU 則像是搬運貨物的大卡車，NPU 則如同一般家用房車。
雖然 CPU 與 GPU 各自有當初設計的目的與優點，但若說到要在城市裡面行駛與通行，那當然還是能夠在城市裡鑽來鑽去的小客車最省油、最好開，這就是 NPU 晶片在未來 AI 應用上的優勢。當然，最理想的狀況還是三者並用，要用什麼功能，用最適合的 unit。
🤖 怪獸科技公司旗下五大版圖
最懂你的 #科技入門：一起培養在快速變化社會的超強適應力！
🗣️ 節目｜怪獸科技公司 Podcast（每週日晚上 9 點各大平台首播）
✍️ 專欄｜怪獸科技公司 vocus 沙龍
🎥 影音｜怪獸科技公司 YouTube：來賓焦點訪談✖️重點短影音
