NPU是什麼,人工智慧加速器單元,將全面進入消費者市場?

NPU是什麼,人工智慧加速器單元,將全面進入消費者市場?

更新於 發佈於 閱讀時間約 4 分鐘


前言


在未來你會看到越來越多的Intel Core Ultra系列規格出現在大眾的電腦市場上,本文將分享如何挑選 Intel Core Ultra 處理器、選擇的考量因素,以及 NPU(神經處理單元)的用途,本文分成一般消費者選購和NPU運行狀況兩部分介紹。


一般消費者選購介紹


這邊先簡單介紹規格編號意義,從規格挑選的介紹再到Ultra系列的用途。


Intel Core Ultra 規格型號選擇


Intel Core Ultra系列為例

  • 黃色部分代表效能: 數字越高越高階
  • 紅色部分表示世代: 數字越高越新
  • 紫色部分表示類型: 例如H表示高效能,U表示省電…,更多查詢[官網連結]
raw-image


NPU 是什麼?為什麼重要?


接下來,我們來看看AI相關的CPU特性,除了傳統CPU的架構外,CPU多出了NPU(Neural Processing Unit,神經處理單元)這個部分,你可以在你的電腦 工作管理員 → 效能 中找到當前狀態,NPU是專門為AI設計的運算單元,能夠有效提升 AI 任務的執行效率,同時降低對 CPU 和 GPU 的負擔。


邊緣運算


NPU是一種專用處理器,用於加速AI相關任務,選用NPU是為了應付已整合至電腦內部的AI功能,這些軟體都具備AI模型在裡面,而這些AI模型將可以獨立依賴在你的電腦上,而不需經過企業雲端運算來處理,可以想像每個人手機都有一樣版本的AI模型,但是大家執行起來的效果不一樣。


GPU與NPU選擇


目前在訓練與執行AI這部分GPU有更大的優勢,那為何不直接選用GPU而選擇了NPU呢,原因是GPU功能強大但是功號消耗也大,而一般消費者的裝置如手機、筆電不需要追求最強效,有更多的考量面向,GPU更多提供給AI模型訓練與專業的執行任務上,而一般消費者不需考量訓練模型,也不需要超過需求的效能配置。


記憶體配置


Intel Core Ultra 記憶體一般可達96GB以上 (請上官網確認指定型號說明),如果在未來電腦、手機普遍內建許多的AI模型,那麼提高記憶體將成為重要的一環,記憶體需要存放大量參數來進行邏輯運算,因此準備好足夠的記憶體以確保AI與其他軟體的正常運作。


AI模型參數


我們來看看GPT-3這個AI模型裡頭的參數數量,來初步認識AI的數據量,GPT-3 有 1,750 億個參數(parameters),使用半精度浮點數(half-precision),也就是每一個參數需要16bit,經過儲存單位換算可以得到每一個參數需要2Byte


raw-image


當然目前大眾市場的裝置並不會這樣配置GPT-3這樣的超大型語言模型,而可能是裝上各種不同功能的小型模型來運行,而配足記憶體不表示能夠順利運行AI模型,僅是滿足基礎參數所占用到的位元存儲量。


raw-image

AI Dev Gallery 運算截圖


購買參考建議


那麼當前(2025/2)一般消費者市場出現的NPU配置的筆電,對於是否需要,可以參考以下考量建議,若裝置(電腦、手機)有明確給出哪些功能應用在本地端,那麼在選配NPU相關的配置。而在當前市場所給予消費者的本地應用相當少,許多高效能的AI運算仍主要依賴雲端服務,也就是說消費者可以用免費和訂閱的方式來使用,那麼在價格的考量下NPU顯得不那麼有效益,目前直接整合給消費者的功能尚未普及,消費者可以更好的評估實用性。


需要本地AI運算: 若經常使用需要本地AI運算的應用程式,如即時語音翻譯或高效能影像處理,配備NPU的筆記型電腦可能更適合。


主要依賴雲端服務: 若您的AI需求主要透過雲端服務滿足,則NPU的必要性相對較低。



開發階段的NPU驅動


若是有配置NPU的電腦,你可以在工作管理員中找到NPU

raw-image



但是大部分時候你的NPU都可能處在閒置階段,原因是需要透過OpenVINO或是ONNX等框架、格式來驅動NPU運作,這是屬於開發人員才需要考慮的部分,所以消費者需要更好的評估有哪些功能已經可以直接使用的,才不會買來一個一直在偷懶的NPU。

raw-image




參考文獻

GPT-3論文 (https://arxiv.org/abs/2005.14165) - 2020 年 5 月 28

avatar-img
36號系統 | 軟體科技 | 科幻哲思
21會員
26內容數
一個理念象徵,一個專注在資訊科技與人文的地方 【科幻哲思】一種理想主義的科幻哲思 【軟體科技】一種理性主義的實踐精神
留言
avatar-img
留言分享你的想法!
MCP是一種通訊協議 (Protocol),提供統一的方法來讓AI 連接工具,使 AI 應用軟體 能夠透過統一介面存取各種服務。協議在軟體工程中用作標準化接口,透過標準化來解決,軟體或硬體相互不支援的問題。
預計網路將在2025年擁有60億的使用者,每天與數據互動,預計總數據產生量將達到90ZB(Zettabytes),LLM 中神經網路推理方式也是類似於人的思考,一字一句的構思下一個段落來組成話語,不會有人一下接上,自己無法理解或從未看過的字眼,例如:
這期分享的是如何獲取Meta API,這部分需要先創建Mata開發人員的帳號,所以還先請朋友們閱讀下方官方文件來註冊,之後有時間會再寫一篇關於Mata開發人員的教學
MCP是一種通訊協議 (Protocol),提供統一的方法來讓AI 連接工具,使 AI 應用軟體 能夠透過統一介面存取各種服務。協議在軟體工程中用作標準化接口,透過標準化來解決,軟體或硬體相互不支援的問題。
預計網路將在2025年擁有60億的使用者,每天與數據互動,預計總數據產生量將達到90ZB(Zettabytes),LLM 中神經網路推理方式也是類似於人的思考,一字一句的構思下一個段落來組成話語,不會有人一下接上,自己無法理解或從未看過的字眼,例如:
這期分享的是如何獲取Meta API,這部分需要先創建Mata開發人員的帳號,所以還先請朋友們閱讀下方官方文件來註冊,之後有時間會再寫一篇關於Mata開發人員的教學