[AI翻譯] AI與邊緣運算

本篇文章是翻譯自 AI大神 吳恩達 Andrew Ng 的電子信件，吳恩達是史丹福大學計算機科學系和電氣工程系的客座教授，曾任斯坦福人工智慧實驗室主任。他與達芙妮·科勒一起創建了在線教育平台Coursera。本篇文章吳恩達談到AI與邊緣運算。

親愛的朋友們:

我知道這與傳統觀點相悖。大多數AI運行於數據中心,而不是邊緣設備上。這有很好的理由:

• 大多數強大的大語言模型需要100B+參數和大量的記憶體,即使只用于推理(100B參數,使用8位定點量化存儲,需要100GB的內存)。
• 許多企業更願意運營基於雲的軟件即服務(SaaS)產品(這樣他們可以收取經常性的訂閱費),而不是運行於邊緣的軟件(用戶傾向於優先支付一次性費用)。 SaaS還使公司能夠獲取用於改進產品的數據,並使產品更容易升級。
• 今天許多開發者已經習慣了構建SaaS應用程序,並希望建立基於雲的應用程序,而不是桌面或其他邊緣應用程序。

以下是我認為那些因素不會阻止AI在邊緣的增長的原因。

• AI應用程序已經開始在現代邊緣設備上運行得相當不錯。例如,我經常在筆記本電腦上運行具有大約10億到100億參數的模型。如果我在沒有WiFi接入的飛機上工作,我有時會運行一個小型模型來幫助我的工作。
• 對於許多應用程序來說,一個規模適中的模型就可以很好地完成工作,特別是如果它已經進行了特定任務的微調。為了幫助我找出論述中的語法錯誤,我真的需要一個具有1750億參數、擁有廣泛知識的模型,可以處理哲學、歷史、天文學和太陽系下的所有其他主題嗎?
• 許多用戶,特別是那些出生於1996年至2010年的Z世代(其行為傾向是未來消費趨勢的領先指標),越來越關注隱私。這促進了蘋果產品的銷售,因為該公司以注重隱私而聞名。當然,為了檢查我的語法,我不需要與大型科技公司共享我的數據。
• 同樣,對於擔心自己數據隱私的公司,邊緣運算(以及內部部署和虛擬私有雲選項)可能也很有吸引力。
• 此外,強大的商業利益也正在推動AI走向邊緣。像英偉達、AMD和Intel这样的芯片製造商,向數據中心(其銷售量已快速增長)和用於PC和筆記本電腦(自疫情以來銷量暴跌)銷售芯片。因此,半導體製造商以及PC/筆記本電腦製造商(和微軟,其Windows作業系統銷售依賴於新PC/筆記本電腦的銷售)都高度激勵消費者採用邊緣AI,因為這可能需要消費者升級設備以獲得更先進的AI加速器。因此,許多公司都將從邊緣AI的興起中獲益,並會有動力去推動它。

AI基金會一直在探索各種邊緣AI應用,我認為機會將會非常豐富和多樣化。有趣的半導體技術將支持它們。例如,AMD的xDNA架構,利用現為AMD子公司的Xilinx設計的可配置內核,使同時運行多個AI模型變得更容易。這可實現一種未來,一個AI模型調整我們視頻通話的圖像質量,另一個即時檢查我們的語法,第三個連結相關文章。

雖然邊緣AI仍處於初期階段 - 無論是消費市場還是工業市場(例如在工廠或重型機械上運行),但我認為除了大量的雲端AI應用機會外,還值得進行調查。

繼續學習!

祝好
吳恩達