Edge AI 是否能將AI應用推向另一個境界

這陣子一直在看AI對整個產業影響，但大多數我們可以看到都是偏向雲端或是服務器端的影響相對是第一個被沖擊的，所以，相對應的硬體成長也隨者這一波帶動不少成長。不過，我更好奇是否有機會AI也可以在Edge進行訓練與應用。因此，整理一些看過的內容。會許不久將來我們也許可以看到，說不久也可能不會太久

AI 伺服器端與運算

目前大多數的ChatGPT和其他AI生成內容的應用都是在伺服器端進行。這種架構可以集中管理和處理龐大的計算需求，並提供高效的AI服務。

在Server side架構中，用戶的請求通常會被發送到遠程伺服器，伺服器上運行著強大的AI模型，如ChatGPT。這些模型會接收用戶的輸入並生成相應的回應。然後，伺服器將回應傳送回用戶設備，用戶可以通過設備上的應用程序或網頁瀏覽器與AI進行互動。Server side的優勢在於能夠提供高性能和複雜的AI功能，因為伺服器上的硬體和資源更加豐富。此外，它還可以實現即時更新和改進，因為AI模型可以在伺服器端進行更新，而無需用戶端進行任何更改。

然而，近年來也有一些AI生成內容的應用開始在用戶端（如智能手機和個人電腦）上運行，以實現離線使用和保護用戶數據隱私的需求。這種方式需要在用戶設備上安裝較小規模的AI模型，以實現本地處理和生成內容。總之，目前的趨勢是AI生成內容主要在Server side運行，但也有一些應用開始在用戶端實現。這取決於具體的應用需求和可行性考慮。

這就是目前現狀

Edge AI

近期，我們在AI效能、物聯網設備的採用以及邊緣計算的性能方面取得了長足的進步，這三者強強聯合，共同激發了邊緣AI的強大功能。

這也為邊緣AI開闢了前所未有的新機會，包括幫助醫院的放射科醫生識別病症、幫助司機駕駛汽車駛下高速公路，以及幫助植物授粉。

無數分析師和企業都在談論和實施邊緣計算，此技術可以追溯到20世紀90年代，當時人們創建了內容交付網絡，從部署在使用者附近的邊緣伺服器上提供網絡和視頻內容。

如今，幾乎每家企業中都有因邊緣AI的採用而受益的工作職能。事實上，邊緣應用程式正在改善我們在家庭、工作、學校和交通方面的生活，而這些改善將推動下一波AI浪潮。邊緣AI是AI應用程式在整個現實世界的設備中的部署。之所以稱其為「邊緣AI」，是因為該AI計算是在位於網絡邊緣的使用者附近完成的，靠近數據所在的位置，而不是集中在雲計算設施或私人數據中心之中。

由於互聯網能夠覆蓋全球範圍，因此網絡邊緣可以表示任何位置。它可以是我們周圍的零售商店、工廠、醫院或設備（例如交通燈、自主機器和手機）。由於AI演算法能夠理解語言、視覺、聲音、氣味、溫度、臉部以及其他非結構化資訊的模擬形式，因此它們能夠在最終用戶處理實際問題時提供有力的幫助。由於延遲、頻寬和隱私方面的問題，在中央雲端或企業數據中心中部署這些AI應用程式是不切實際的，甚至是不可能完成的。

• 邊緣AI技術的運作方式：邊緣AI應用程式使用深度神經網絡（DNN）來模仿人類的認知。經過訓練的DNN能夠在邊緣設備上執行任務並提供智能決策。當邊緣AI遇到問題時，數據可能會上傳到雲端進行進一步訓練，以提升模型性能。
• 邊緣AI的應用案例：

能源行業中的智能化預測：利用邊緣AI模型結合歷史數據、天氣模式和電網狀況，實現高效的能源生產、分配和管理。

製造業中的預測性維護：通過使用傳感器數據，及早檢測設備異常並預測故障發生時間，以避免生產中斷和維修成本。

醫療健康中的AI儀器：邊緣上的現代醫療儀器逐步更新為支持AI，實現微創手術和根據需求獲取見解。

零售業中的智能虛擬助理：零售商希望通過引入語音訂購來改善數字化客戶體驗，購物者可以使用智能揚聲器或其他智能移動設備進行商品搜索、獲取產品信息和下訂單。

• 雲計算在邊緣AI中的作用：雲計算和邊緣計算結合使用可以提供綜合優勢。雲端可以用於模型訓練、重新訓練以及提供最新版本的AI模型和應用程式。邊緣計算則提供更快的響應時間和更低的頻寬成本。
• 邊緣AI的未來：由於神經網絡的商業化成熟、物聯網設備的激增、並行計算和5G技術的進步，邊緣AI在各行業中有著廣闊的應用前景。它使企業能夠利用即時見解採取行動，同時降低成本並提高隱私性。

總而言之，邊緣AI技術為各行業提供了智能決策和即時見解的能力，使其能夠更有效地運作並取得業務成果。

Edge AI 趨勢

由於傳統處理器無法高效地執行大多數人工智慧任務，新一代針對特定人工智慧任務進行優化的處理器架構如神經網路處理器（NPU）和張量處理器（TPU）迅速崛起。邊緣AI的興起主要受到行動服務、物聯網、可穿戴裝置和工業互聯網等應用的推動，而通信成本、延遲、安全性、隱私和電源效率等因素也驅動著對本地運算和邊緣AI的需求。

邊緣AI與雲端AI的差異在於數據處理的位置和需求。雲端應用程式主要關注處理和解釋大型數據集，而邊緣裝置由於尺寸和電源的限制，無法持續傳輸海量數據到雲端，因此需要在本地執行推理和執行。邊緣AI的技術機會包括存儲器和支援硬體的安全性。在存儲器方面，邊緣AI需要重新考慮存儲控制器和架構，以實現分布式、高帶寬和低延遲的存儲訪問。非易失性存儲器（Non-Volatile Memory）和內存內計算（In-memory-computing）等新型存儲技術在邊緣AI中具有潛力。

惠普行政總裁Enrique Lores表示，隨著人工智能的最新進展，消費者和企業的電腦將在未來24個月出現重大變革。惠普正在努力將人工智能整合到個人電腦中，使用戶能夠在自己的電腦上運行人工智能應用程序，而不需要依賴雲端。這將帶來許多好處，例如用戶可以在處理私人數據時節省成本和時間，並保持數據的隱私。惠普表示，他們正在與晶片製造商合作，將新的人工智能設計整合到電腦中。預計客戶在2024年前後開始看到可採用的解決方案，並為該類別帶來新的商機。

隨著人工智能的興起，消費者和企業可能需要更新他們的電腦以保持競爭力。根據行業研究機構Canalys的數據，預計2023年第四季度美國電腦出貨量將按年增長6％，並預計2024年全年出貨量將比2023年增長13％。華爾街將這一更新周期視為惠普的利好，可促使收益增長。惠普希望發布具有革命性架構的新型PC，使用戶使用AI系統變得更容易。新架構將允許在本地處理數據分析，確保敏感資訊的安全。根據得知，惠普與超微、輝達和高通正在密切合作開發這個新平台。

根據惠普執行長的預期，其正在開發支持AI的PC，將能使客戶能夠在創紀錄的時間內建構電子表格和分析數據。因為擁有AI將能夠讓PC在幾秒鐘內創建電子表格、分析數據，甚至就其發現展開對話，而不是讓人們花費數小時研究數據，這足以增加工作效率。

許多專家表示，製造支持AI的PC絕對不只是在工作效率上，還有一些新的應用會產生，這讓PC的易用性變得更高，互動模式變得更自然。分析師甚至預測，在推出AI為基礎的PC之後的幾年內，透過廠商之間對市場的回饋，微軟或者PC廠商應該能夠想出一種跳脫現有PC或智慧型手機框架的新服務

邊緣AI作為半導體創新的領域，提供了優化的處理器架構和技術機會。存儲器和支援硬體的安全性是邊緣AI發展中需要關注

此外，我們再來看看微軟部分，微軟將其AI Copilot功能帶到Windows 11，作為內建工具來增強工作效率。該功能名為「Windows Copilot」，在微軟的Build 2023開發者大會上宣布，其運作方式類似於Microsoft Edge中的Bing Copilot。

Windows Copilot功能可以分析屏幕上的內容，根據用戶所看到的內容提供上下文建議和操作。Copilot可以通過工作列上的按鈕訪問，運行時可以移動或停靠在屏幕的右側或左側，底部還有一個聊天框用於輸入命令和提問。

微軟首席產品官Panos Panay在官方公告中表示：“Windows是第一個為用戶提供集中式AI協助的PC平台。與Bing Chat和第一方、第三方插件一起，你可以專注於實現你的想法、完成複雜項目和協作，而不是浪費時間在尋找、啟動和切換多個應用程序上。”

Windows Copilot基於微軟在Bing Chat中使用的相同AI技術，這意味著你可以要求Windows Copilot在本地PC上執行任務的同時，也可以幫助你搜索網絡。它還支持Bing Chat和ChatGPT插件，使Windows Copilot成為一個可擴展的平台。這是否代表未來這樣應用也算是在Edge端執行呢?

Edge 是否可以訓練模型

最近有篇關於Stability AI 發佈的 SDXL的SDK，宣稱 SDXL 0.9 版本是他們 Stable Diffusion 文本到圖像模型的最新版本，具備強大的輸出功能和更先進的模型架構。然而令人驚訝的是，儘管擁有如此強大的功能，SDXL 0.9 仍然能夠在現代消費級 GPU 上運行。具體的配置要求包括：Windows 10 或 11/Linux 作業系統；16 GB 記憶體；英偉達 GeForce RTX 20 系列顯示卡（或更高版本），至少配備 8 GB 視頻記憶體；對於 Linux 用戶，也可以使用配備 16 GB 視頻記憶體的 AMD 相容顯示卡。

SDXL 0.9 是一個功能強大的工具，能夠生成高度逼真的圖像，並且通過在現代消費級 GPU 上運行實現更廣泛的應用。該版本具備超過 35 億個參數的基礎模型和 66 億個參數的整合管線模型，成為開源圖像模型中參數量最大的之一。它在創意產業、影視劇、音樂、教學視頻以及設計和工業應用中展現出優異的表現。此外，SDXL 0.9 還提供了多種功能，如圖像到圖像提示、填充和外擴，讓用戶能夠以更高級、有趣的方式修改圖像。儘管 SDXL 0.9 具有強大的性能和先進的模型架構，但仍然能夠在現代消費級 GPU 上運行，這使得它更易於廣泛應用。

我們在看另一個案例蘋果Vision Pro的誕生開啟了空間計算之路，令人振奮不已。如果能開發一個名為「贾維斯」的AI助手，讓下一代頭显在生活中發揮極致，那才真的令人興奮。

「Otter-E」是一個為AR頭显訓練的AI助手，由南洋理工大學和微軟的研究人員開發。它是Otter模型的進化體，能夠提供改進的指令遵循能力和上下文學習。

使用「Otter-E」作為AI助手，可以在生活的各個場景中獲得極大的幫助。例如，在打麻將時，直接問它該棄掉哪張牌，Otter-E會給出打牌建議，讓你事半功倍。在空中飛行時，詢問Otter-E你想停在哪個位置，它會詳細解釋如何降落。甚至在踢球時，也能尋求Otter-E的建議。當你看到水中嬉戲的水獭時，如果有感而發，Otter-E還可以為你寫一首五行詩。

值得一提的是，Otter-E只需要兩個消費級的RTX3090 GPU即可運行。這使得它在性能和效能方面非常出色。

此外，MIMIC-IT是一個橫跨七個圖片和視頻數據集的多模態數據集，支持八種語言。通過在這個數據集上進行訓練，Otter-E具備了對各種場景的理解和推理能力，能夠進行多輪對話。它還能夠從上下文示例中學習，具有自我視覺理解的能力，特別適用於AR頭显應用。

綜上所述，Otter-E作為一個針對AR設計的AI助手，通過多模態訓練和上下文學習展現了強大的場景理解、推理和對話能力。

總結

對於現在階段要訓練大模型都是在雲端與主機端，未來的技術發展使得Edge AI（邊緣人工智能）能夠在終端執行，包括訓練和應用。Edge AI是指將人工智能算法和模型部署到終端設備上，以便在本地處理和分析數據，而不需要依賴雲端服務。

過去，由於計算能力和存儲容量的限制，終端設備往往無法執行複雜的機器學習模型。然而，隨著半導體技術和邊緣計算的進步，現代終端設備已經具備足夠的計算能力和記憶體容量來執行較大型的模型。

對於訓練來說，未來的Edge AI技術可能會允許在終端設備上進行一些較為複雜的模型訓練。這可能涉及到使用低功耗、高效能的專用硬體（如移動GPU）來加速訓練過程，或者使用分佈式學習方法，將模型訓練的工作分散到多個終端設備上進行。

對於應用來說，終端設備可以利用Edge AI來執行一系列的人工智能任務，包括圖像識別、語音識別、自然語言處理等。這些模型可以通過在終端上進行推理和推斷來提供即時的結果，同時也保護了數據的隱私，因為數據不需要傳輸到雲端進行處理。

總之，隨著技術的發展，未來我們可以預期Edge AI將在終端設備上廣泛應用，包括訓練和應用，從而實現更高效、更隱私保護的人工智能應用。