這邊先簡單介紹規格編號意義,從規格挑選的介紹再到Ultra系列的用途。
Intel Core Ultra系列為例
接下來,我們來看看AI相關的CPU特性,除了傳統CPU的架構外,CPU多出了NPU(Neural Processing Unit,神經處理單元)這個部分,你可以在你的電腦 工作管理員 → 效能 中找到當前狀態,NPU是專門為AI設計的運算單元,能夠有效提升 AI 任務的執行效率,同時降低對 CPU 和 GPU 的負擔。
NPU是一種專用處理器,用於加速AI相關任務,選用NPU是為了應付已整合至電腦內部的AI功能,這些軟體都具備AI模型在裡面,而這些AI模型將可以獨立依賴在你的電腦上,而不需經過企業雲端運算來處理,可以想像每個人手機都有一樣版本的AI模型,但是大家執行起來的效果不一樣。
目前在訓練與執行AI這部分GPU有更大的優勢,那為何不直接選用GPU而選擇了NPU呢,原因是GPU功能強大但是功號消耗也大,而一般消費者的裝置如手機、筆電不需要追求最強效,有更多的考量面向,GPU更多提供給AI模型訓練與專業的執行任務上,而一般消費者不需考量訓練模型,也不需要超過需求的效能配置。
Intel Core Ultra 記憶體一般可達96GB以上 (請上官網確認指定型號說明),如果在未來電腦、手機普遍內建許多的AI模型,那麼提高記憶體將成為重要的一環,記憶體需要存放大量參數來進行邏輯運算,因此準備好足夠的記憶體以確保AI與其他軟體的正常運作。
我們來看看GPT-3這個AI模型裡頭的參數數量,來初步認識AI的數據量,GPT-3 有 1,750 億個參數(parameters),使用半精度浮點數(half-precision),也就是每一個參數需要16bit,經過儲存單位換算可以得到每一個參數需要2Byte
當然目前大眾市場的裝置並不會這樣配置GPT-3這樣的超大型語言模型,而可能是裝上各種不同功能的小型模型來運行,而配足記憶體不表示能夠順利運行AI模型,僅是滿足基礎參數所占用到的位元存儲量。
AI Dev Gallery 運算截圖
那麼當前(2025/2)一般消費者市場出現的NPU配置的筆電,對於是否需要,可以參考以下考量建議,若裝置(電腦、手機)有明確給出哪些功能應用在本地端,那麼在選配NPU相關的配置。而在當前市場所給予消費者的本地應用相當少,許多高效能的AI運算仍主要依賴雲端服務,也就是說消費者可以用免費和訂閱的方式來使用,那麼在價格的考量下NPU顯得不那麼有效益,目前直接整合給消費者的功能尚未普及,消費者可以更好的評估實用性。
需要本地AI運算: 若經常使用需要本地AI運算的應用程式,如即時語音翻譯或高效能影像處理,配備NPU的筆記型電腦可能更適合。
主要依賴雲端服務: 若您的AI需求主要透過雲端服務滿足,則NPU的必要性相對較低。
若是有配置NPU的電腦,你可以在工作管理員中找到NPU
但是大部分時候你的NPU都可能處在閒置階段,原因是需要透過OpenVINO或是ONNX等框架、格式來驅動NPU運作,這是屬於開發人員才需要考慮的部分,所以消費者需要更好的評估有哪些功能已經可以直接使用的,才不會買來一個一直在偷懶的NPU。
GPT-3論文 (https://arxiv.org/abs/2005.14165) - 2020 年 5 月 28