NPU是什麼,人工智慧加速器單元,將全面進入消費者市場?

ROOT-avatar-img
發佈於軟體
更新於 發佈於 閱讀時間約 4 分鐘


前言


在未來你會看到越來越多的Intel Core Ultra系列規格出現在大眾的電腦市場上,本文將分享如何挑選 Intel Core Ultra 處理器、選擇的考量因素,以及 NPU(神經處理單元)的用途,本文分成一般消費者選購和NPU運行狀況兩部分介紹。


一般消費者選購介紹


這邊先簡單介紹規格編號意義,從規格挑選的介紹再到Ultra系列的用途。


Intel Core Ultra 規格型號選擇


Intel Core Ultra系列為例

  • 黃色部分代表效能: 數字越高越高階
  • 紅色部分表示世代: 數字越高越新
  • 紫色部分表示類型: 例如H表示高效能,U表示省電…,更多查詢[官網連結]
raw-image


NPU 是什麼?為什麼重要?


接下來,我們來看看AI相關的CPU特性,除了傳統CPU的架構外,CPU多出了NPU(Neural Processing Unit,神經處理單元)這個部分,你可以在你的電腦 工作管理員 → 效能 中找到當前狀態,NPU是專門為AI設計的運算單元,能夠有效提升 AI 任務的執行效率,同時降低對 CPU 和 GPU 的負擔。


邊緣運算


NPU是一種專用處理器,用於加速AI相關任務,選用NPU是為了應付已整合至電腦內部的AI功能,這些軟體都具備AI模型在裡面,而這些AI模型將可以獨立依賴在你的電腦上,而不需經過企業雲端運算來處理,可以想像每個人手機都有一樣版本的AI模型,但是大家執行起來的效果不一樣。


GPU與NPU選擇


目前在訓練與執行AI這部分GPU有更大的優勢,那為何不直接選用GPU而選擇了NPU呢,原因是GPU功能強大但是功號消耗也大,而一般消費者的裝置如手機、筆電不需要追求最強效,有更多的考量面向,GPU更多提供給AI模型訓練與專業的執行任務上,而一般消費者不需考量訓練模型,也不需要超過需求的效能配置。


記憶體配置


Intel Core Ultra 記憶體一般可達96GB以上 (請上官網確認指定型號說明),如果在未來電腦、手機普遍內建許多的AI模型,那麼提高記憶體將成為重要的一環,記憶體需要存放大量參數來進行邏輯運算,因此準備好足夠的記憶體以確保AI與其他軟體的正常運作。


AI模型參數


我們來看看GPT-3這個AI模型裡頭的參數數量,來初步認識AI的數據量,GPT-3 有 1,750 億個參數(parameters),使用半精度浮點數(half-precision),也就是每一個參數需要16bit,經過儲存單位換算可以得到每一個參數需要2Byte


raw-image


當然目前大眾市場的裝置並不會這樣配置GPT-3這樣的超大型語言模型,而可能是裝上各種不同功能的小型模型來運行,而配足記憶體不表示能夠順利運行AI模型,僅是滿足基礎參數所占用到的位元存儲量。


raw-image

AI Dev Gallery 運算截圖


購買參考建議


那麼當前(2025/2)一般消費者市場出現的NPU配置的筆電,對於是否需要,可以參考以下考量建議,若裝置(電腦、手機)有明確給出哪些功能應用在本地端,那麼在選配NPU相關的配置。而在當前市場所給予消費者的本地應用相當少,許多高效能的AI運算仍主要依賴雲端服務,也就是說消費者可以用免費和訂閱的方式來使用,那麼在價格的考量下NPU顯得不那麼有效益,目前直接整合給消費者的功能尚未普及,消費者可以更好的評估實用性。


需要本地AI運算: 若經常使用需要本地AI運算的應用程式,如即時語音翻譯或高效能影像處理,配備NPU的筆記型電腦可能更適合。


主要依賴雲端服務: 若您的AI需求主要透過雲端服務滿足,則NPU的必要性相對較低。



開發階段的NPU驅動


若是有配置NPU的電腦,你可以在工作管理員中找到NPU

raw-image



但是大部分時候你的NPU都可能處在閒置階段,原因是需要透過OpenVINO或是ONNX等框架、格式來驅動NPU運作,這是屬於開發人員才需要考慮的部分,所以消費者需要更好的評估有哪些功能已經可以直接使用的,才不會買來一個一直在偷懶的NPU。

raw-image




參考文獻

GPT-3論文 (https://arxiv.org/abs/2005.14165) - 2020 年 5 月 28

留言
avatar-img
留言分享你的想法!
avatar-img
36號系統
22會員
28內容數
一個理念象徵, 一個專注在人工智慧與人文的地方 【科幻】一種理想主義的科幻哲思 【人工智慧】一種理性主義的求真精神
36號系統的其他內容
2025/03/30
MCP是一種通訊協議 (Protocol),提供統一的方法來讓AI 連接工具,使 AI 應用軟體 能夠透過統一介面存取各種服務。協議在軟體工程中用作標準化接口,透過標準化來解決,軟體或硬體相互不支援的問題。
Thumbnail
2025/03/30
MCP是一種通訊協議 (Protocol),提供統一的方法來讓AI 連接工具,使 AI 應用軟體 能夠透過統一介面存取各種服務。協議在軟體工程中用作標準化接口,透過標準化來解決,軟體或硬體相互不支援的問題。
Thumbnail
2025/03/29
預計網路將在2025年擁有60億的使用者,每天與數據互動,預計總數據產生量將達到90ZB(Zettabytes),LLM 中神經網路推理方式也是類似於人的思考,一字一句的構思下一個段落來組成話語,不會有人一下接上,自己無法理解或從未看過的字眼,例如:
Thumbnail
2025/03/29
預計網路將在2025年擁有60億的使用者,每天與數據互動,預計總數據產生量將達到90ZB(Zettabytes),LLM 中神經網路推理方式也是類似於人的思考,一字一句的構思下一個段落來組成話語,不會有人一下接上,自己無法理解或從未看過的字眼,例如:
Thumbnail
2024/08/16
這期分享的是如何獲取Meta API,這部分需要先創建Mata開發人員的帳號,所以還先請朋友們閱讀下方官方文件來註冊,之後有時間會再寫一篇關於Mata開發人員的教學
Thumbnail
2024/08/16
這期分享的是如何獲取Meta API,這部分需要先創建Mata開發人員的帳號,所以還先請朋友們閱讀下方官方文件來註冊,之後有時間會再寫一篇關於Mata開發人員的教學
Thumbnail
看更多
你可能也想看
Thumbnail
沙龍一直是創作與交流的重要空間,這次 vocus 全面改版了沙龍介面,就是為了讓好內容被好好看見! 你可以自由編排你的沙龍首頁版位,新版手機介面也讓每位訪客都能更快找到感興趣的內容、成為你的支持者。 改版完成後可以在社群媒體分享新版面,並標記 @vocus.official⁠ ♥️ ⁠
Thumbnail
沙龍一直是創作與交流的重要空間,這次 vocus 全面改版了沙龍介面,就是為了讓好內容被好好看見! 你可以自由編排你的沙龍首頁版位,新版手機介面也讓每位訪客都能更快找到感興趣的內容、成為你的支持者。 改版完成後可以在社群媒體分享新版面,並標記 @vocus.official⁠ ♥️ ⁠
Thumbnail
每年4月、5月都是最多稅要繳的月份,當然大部份的人都是有機會繳到「綜合所得稅」,只是相當相當多人還不知道,原來繳給政府的稅!可以透過一些有活動的銀行信用卡或電子支付來繳,從繳費中賺一點點小確幸!就是賺個1%~2%大家也是很開心的,因為你們把沒回饋變成有回饋,就是用卡的最高境界 所得稅線上申報
Thumbnail
每年4月、5月都是最多稅要繳的月份,當然大部份的人都是有機會繳到「綜合所得稅」,只是相當相當多人還不知道,原來繳給政府的稅!可以透過一些有活動的銀行信用卡或電子支付來繳,從繳費中賺一點點小確幸!就是賺個1%~2%大家也是很開心的,因為你們把沒回饋變成有回饋,就是用卡的最高境界 所得稅線上申報
Thumbnail
AI PC 是將 AI 模型與傳統 PC 緊密結合的裝置,為本地 AI 運算能力,更能保護用戶的隱私和數據安全。 AI PC 具有 NPU、CPU 以及 GPU,並能夠具備高算力 AI 應用的需求,在 AI 運算性能、效率跟功耗方面,NPU 相較 CPU 與 GPU 具有大幅優勢。
Thumbnail
AI PC 是將 AI 模型與傳統 PC 緊密結合的裝置,為本地 AI 運算能力,更能保護用戶的隱私和數據安全。 AI PC 具有 NPU、CPU 以及 GPU,並能夠具備高算力 AI 應用的需求,在 AI 運算性能、效率跟功耗方面,NPU 相較 CPU 與 GPU 具有大幅優勢。
Thumbnail
未來的AI處理器發展趨勢將會持續專注於提升效能並降低能源消耗。 以下是一些可能的發展方向: 新一代NPU:例如,英特爾已經發表了新一代AI PC處理器Lunar Lake,該處理器的NPU算力是前一代的3倍多,且耗能較前一代低40%。 多模態生成式AI的興起:這種AI結合了文本、圖像、視頻等多
Thumbnail
未來的AI處理器發展趨勢將會持續專注於提升效能並降低能源消耗。 以下是一些可能的發展方向: 新一代NPU:例如,英特爾已經發表了新一代AI PC處理器Lunar Lake,該處理器的NPU算力是前一代的3倍多,且耗能較前一代低40%。 多模態生成式AI的興起:這種AI結合了文本、圖像、視頻等多
Thumbnail
神經處理單元(NPU)主要用於加速人工智慧(AI)和機器學習(ML)任務。 以下是一些主要的應用領域和使用者: AI和機器學習:NPU是人工智慧和機器學習領域的直接受益者。這些技術依賴數據而蓬勃發展,NPU擅長消化和解釋大量資料集,使機器能夠以前所未有的速度學習。 智慧型設備和物聯網:在智慧型
Thumbnail
神經處理單元(NPU)主要用於加速人工智慧(AI)和機器學習(ML)任務。 以下是一些主要的應用領域和使用者: AI和機器學習:NPU是人工智慧和機器學習領域的直接受益者。這些技術依賴數據而蓬勃發展,NPU擅長消化和解釋大量資料集,使機器能夠以前所未有的速度學習。 智慧型設備和物聯網:在智慧型
Thumbnail
這篇文章探討了NVIDIA在推論式AI半導體市場的挑戰,以及介紹了Intel在AI領域的強化舉措。文章中提到了新興企業可能有機會取代現有市場領導者,並討論了RISC-V技術在AI半導體市場的應用和其他相關動向。
Thumbnail
這篇文章探討了NVIDIA在推論式AI半導體市場的挑戰,以及介紹了Intel在AI領域的強化舉措。文章中提到了新興企業可能有機會取代現有市場領導者,並討論了RISC-V技術在AI半導體市場的應用和其他相關動向。
Thumbnail
NVIDIA 黃仁勳 - AI人工智慧時代如何帶動全球新產業革命(個人紀錄用) 🇺🇸Omniverse 就是未來集大成,而加速運算、人工智慧就是兩個最重要的技術核心 🇺🇸CPU效能的擴充速度正在大幅降低,提出「運算通膨」概念
Thumbnail
NVIDIA 黃仁勳 - AI人工智慧時代如何帶動全球新產業革命(個人紀錄用) 🇺🇸Omniverse 就是未來集大成,而加速運算、人工智慧就是兩個最重要的技術核心 🇺🇸CPU效能的擴充速度正在大幅降低,提出「運算通膨」概念
Thumbnail
微軟最新的Laptop搭載Snapdragon X Elite處理器,具有NPU(Neural Processing Unit)和優異的AI功能,並展現出色的性能、省電優勢。本文將介紹新機種的現代AI表現、媒體處理、圖形性能等方面的測試結果。
Thumbnail
微軟最新的Laptop搭載Snapdragon X Elite處理器,具有NPU(Neural Processing Unit)和優異的AI功能,並展現出色的性能、省電優勢。本文將介紹新機種的現代AI表現、媒體處理、圖形性能等方面的測試結果。
Thumbnail
AI PC 硬體 + AI OS + AI PC 摘要
Thumbnail
AI PC 硬體 + AI OS + AI PC 摘要
Thumbnail
瞭解IC和IP的區別、晶圓代工的角色,以及芯粒和小晶片對半導體製造的影響。此外,探討了人工智慧對電子設計的影響。
Thumbnail
瞭解IC和IP的區別、晶圓代工的角色,以及芯粒和小晶片對半導體製造的影響。此外,探討了人工智慧對電子設計的影響。
Thumbnail
2023年初,OpenAI 帶來生成式 AI 的實際生活應用,讓 Nvidia GPU, AI server 及 Broadcom 網路交換器供不應求,為了打造既便利又有效率的生活,全球都在追逐這一場新的契機。但是....
Thumbnail
2023年初,OpenAI 帶來生成式 AI 的實際生活應用,讓 Nvidia GPU, AI server 及 Broadcom 網路交換器供不應求,為了打造既便利又有效率的生活,全球都在追逐這一場新的契機。但是....
追蹤感興趣的內容從 Google News 追蹤更多 vocus 的最新精選內容追蹤 Google News