[AI翻譯] AI與邊緣運算

更新於 發佈於 閱讀時間約 3 分鐘
raw-image

本篇文章是翻譯自 AI大神 吳恩達 Andrew Ng 的電子信件,吳恩達是史丹福大學計算機科學系和電氣工程系的客座教授,曾任斯坦福人工智慧實驗室主任。他與達芙妮·科勒一起創建了在線教育平台Coursera。本篇文章吳恩達談到AI與邊緣運算。

親愛的朋友們:

我之前曾經談到,我在AI基金會的團隊,在ChatGPT推出兩年前,就看到GPT-3為構建語言應用開闢了一條新道路。我要冒險做另一個預測:我認為我們會看到AI應用,包括生成式AI在網絡邊緣或叫做邊緣運算(PC、筆記本電腦、移動設備等)的顯著增長。

我知道這與傳統觀點相悖。大多數AI運行於數據中心,而不是邊緣設備上。這有很好的理由:

  • 大多數強大的大語言模型需要100B+參數和大量的記憶體,即使只用于推理(100B參數,使用8位定點量化存儲,需要100GB的內存)。
  • 許多企業更願意運營基於雲的軟件即服務(SaaS)產品(這樣他們可以收取經常性的訂閱費),而不是運行於邊緣的軟件(用戶傾向於優先支付一次性費用)。 SaaS還使公司能夠獲取用於改進產品的數據,並使產品更容易升級。
  • 今天許多開發者已經習慣了構建SaaS應用程序,並希望建立基於雲的應用程序,而不是桌面或其他邊緣應用程序。

以下是我認為那些因素不會阻止AI在邊緣的增長的原因。

  • AI應用程序已經開始在現代邊緣設備上運行得相當不錯。例如,我經常在筆記本電腦上運行具有大約10億到100億參數的模型。如果我在沒有WiFi接入的飛機上工作,我有時會運行一個小型模型來幫助我的工作。
  • 對於許多應用程序來說,一個規模適中的模型就可以很好地完成工作,特別是如果它已經進行了特定任務的微調。為了幫助我找出論述中的語法錯誤,我真的需要一個具有1750億參數、擁有廣泛知識的模型,可以處理哲學、歷史、天文學和太陽系下的所有其他主題嗎?
  • 許多用戶,特別是那些出生於1996年至2010年的Z世代(其行為傾向是未來消費趨勢的領先指標),越來越關注隱私。這促進了蘋果產品的銷售,因為該公司以注重隱私而聞名。當然,為了檢查我的語法,我不需要與大型科技公司共享我的數據。
  • 同樣,對於擔心自己數據隱私的公司,邊緣運算(以及內部部署和虛擬私有雲選項)可能也很有吸引力。
  • 此外,強大的商業利益也正在推動AI走向邊緣。像英偉達、AMD和Intel这样的芯片製造商,向數據中心(其銷售量已快速增長)和用於PC和筆記本電腦(自疫情以來銷量暴跌)銷售芯片。因此,半導體製造商以及PC/筆記本電腦製造商(和微軟,其Windows作業系統銷售依賴於新PC/筆記本電腦的銷售)都高度激勵消費者採用邊緣AI,因為這可能需要消費者升級設備以獲得更先進的AI加速器。因此,許多公司都將從邊緣AI的興起中獲益,並會有動力去推動它。

AI基金會一直在探索各種邊緣AI應用,我認為機會將會非常豐富和多樣化。有趣的半導體技術將支持它們。例如,AMD的xDNA架構,利用現為AMD子公司的Xilinx設計的可配置內核,使同時運行多個AI模型變得更容易。這可實現一種未來,一個AI模型調整我們視頻通話的圖像質量,另一個即時檢查我們的語法,第三個連結相關文章。

雖然邊緣AI仍處於初期階段 - 無論是消費市場還是工業市場(例如在工廠或重型機械上運行),但我認為除了大量的雲端AI應用機會外,還值得進行調查。

繼續學習!

祝好
吳恩達

留言
avatar-img
留言分享你的想法!
avatar-img
技術PM路易斯的沙龍
49會員
35內容數
技術PM的AI實驗室,是以輕鬆的角度深入簡出的探討各種生成式AI工具的使用。無論你是想理解AI到底是怎麼運作的? 想知道有那些好用的生成式AI工具? 或者是對AI繪圖有興趣的,都歡迎加入我們的AI實驗室一起輕鬆地玩耍,我們邊玩邊學,學習跟AI一起共創新的可能。
2023/12/23
SDXL Turbo主打可以1 step就產生一定品質的圖片 (圖片品質比SDXL甚至SD 1.5還要低),完全是以速度取勝,那麼SDXL Turbo這個技術代表的是怎樣的突破呢? 究竟秒出圖的技術能夠有什麼實際的應用呢? 這就是我們這篇想要探討的。
Thumbnail
2023/12/23
SDXL Turbo主打可以1 step就產生一定品質的圖片 (圖片品質比SDXL甚至SD 1.5還要低),完全是以速度取勝,那麼SDXL Turbo這個技術代表的是怎樣的突破呢? 究竟秒出圖的技術能夠有什麼實際的應用呢? 這就是我們這篇想要探討的。
Thumbnail
2023/11/18
這篇文章會跟大家介紹,為什麼我覺得ChatGPT的多模態輸入輸出其實是最重要的一個功能之一,讓AI往成為真正人工智慧代理人的路上前進了一大步,我們也會稍微探討(想像)一下,所謂的理想的AI載具到底應該是怎樣的?
Thumbnail
2023/11/18
這篇文章會跟大家介紹,為什麼我覺得ChatGPT的多模態輸入輸出其實是最重要的一個功能之一,讓AI往成為真正人工智慧代理人的路上前進了一大步,我們也會稍微探討(想像)一下,所謂的理想的AI載具到底應該是怎樣的?
Thumbnail
2023/11/01
本篇文章是 以ChatGPT翻譯華頓商學院教授Ethan Mollick的文章,並且稍微加上修飾而來的,是一篇相當好的該如何使用AI的引言,分享給各位。 我們學到的就是,只要使用AI,你就會學會如何使用AI。你只需大量使用AI,直到你弄清楚它的優點和缺點,就可以成為你領域的AI應用專家。
Thumbnail
2023/11/01
本篇文章是 以ChatGPT翻譯華頓商學院教授Ethan Mollick的文章,並且稍微加上修飾而來的,是一篇相當好的該如何使用AI的引言,分享給各位。 我們學到的就是,只要使用AI,你就會學會如何使用AI。你只需大量使用AI,直到你弄清楚它的優點和缺點,就可以成為你領域的AI應用專家。
Thumbnail
看更多
你可能也想看
Thumbnail
「欸!這是在哪裡買的?求連結 🥺」 誰叫你太有品味,一發就讓大家跟著剁手手? 讓你回購再回購的生活好物,是時候該介紹出場了吧! 「開箱你的美好生活」現正召喚各路好物的開箱使者 🤩
Thumbnail
「欸!這是在哪裡買的?求連結 🥺」 誰叫你太有品味,一發就讓大家跟著剁手手? 讓你回購再回購的生活好物,是時候該介紹出場了吧! 「開箱你的美好生活」現正召喚各路好物的開箱使者 🤩
Thumbnail
介紹朋友新開的蝦皮選物店『10樓2選物店』,並分享方格子與蝦皮合作的分潤計畫,註冊流程簡單,0成本、無綁約,推薦給想增加收入的讀者。
Thumbnail
介紹朋友新開的蝦皮選物店『10樓2選物店』,並分享方格子與蝦皮合作的分潤計畫,註冊流程簡單,0成本、無綁約,推薦給想增加收入的讀者。
Thumbnail
當你邊吃粽子邊看龍舟競賽直播的時候,可能會順道悼念一下2300多年前投江的屈原。但你知道端午節及其活動原先都與屈原毫無關係嗎?這是怎麼回事呢? 本文深入探討端午節設立初衷、粽子、龍舟競渡與屈原自沉四者。看完這篇文章,你就會對端午、粽子、龍舟和屈原的四角關係有新的認識喔。那就讓我們一起解開謎團吧!
Thumbnail
當你邊吃粽子邊看龍舟競賽直播的時候,可能會順道悼念一下2300多年前投江的屈原。但你知道端午節及其活動原先都與屈原毫無關係嗎?這是怎麼回事呢? 本文深入探討端午節設立初衷、粽子、龍舟競渡與屈原自沉四者。看完這篇文章,你就會對端午、粽子、龍舟和屈原的四角關係有新的認識喔。那就讓我們一起解開謎團吧!
Thumbnail
延續上篇〈人工智慧主導設計的崛起〉(The Emergence of Dominant Designs in Artificial Intelligence)的論述,埃爾南德斯(Ferràs-Hernández, Xavier)副教授等人全面回顧了產業組織、技術管理、網路經濟學、營運管理和策略管理等
Thumbnail
延續上篇〈人工智慧主導設計的崛起〉(The Emergence of Dominant Designs in Artificial Intelligence)的論述,埃爾南德斯(Ferràs-Hernández, Xavier)副教授等人全面回顧了產業組織、技術管理、網路經濟學、營運管理和策略管理等
Thumbnail
不知從何時開始,AI、AI、AI、AI、AI、AI、AI、AI、AI、AI、AI、AI、開頭的新聞報導報章雜誌如同下雨前的飛蟻串出,正盤旋在我們凝視的燈光中間打轉。 為此,各國政府高層、科技相關或AI的頂尖學者們似乎也意識到嚴重性而紛紛跳出表態。 但一個AI、各自表述,來看看大家的唇槍舌戰!!
Thumbnail
不知從何時開始,AI、AI、AI、AI、AI、AI、AI、AI、AI、AI、AI、AI、開頭的新聞報導報章雜誌如同下雨前的飛蟻串出,正盤旋在我們凝視的燈光中間打轉。 為此,各國政府高層、科技相關或AI的頂尖學者們似乎也意識到嚴重性而紛紛跳出表態。 但一個AI、各自表述,來看看大家的唇槍舌戰!!
Thumbnail
大數據和人工智慧,宛如情侶的曖昧關係一樣!在電腦和應用程式領域,硬體與軟體、前端與後端也彷彿身體和心靈的愛人。這議題將分為學術研究、企業運用、技術發展、人才培養以及政策支持五大方向,探討了何時該分隔這三對情侶,又何時需要將它們合而為一。一切視乎專業領域、生產模式、成本與風險、科技進步與市場需求而定。
Thumbnail
大數據和人工智慧,宛如情侶的曖昧關係一樣!在電腦和應用程式領域,硬體與軟體、前端與後端也彷彿身體和心靈的愛人。這議題將分為學術研究、企業運用、技術發展、人才培養以及政策支持五大方向,探討了何時該分隔這三對情侶,又何時需要將它們合而為一。一切視乎專業領域、生產模式、成本與風險、科技進步與市場需求而定。
Thumbnail
本篇文章是翻譯自 AI大神 吳恩達 Andrew Ng 的電子信件,吳恩達是史丹福大學計算機科學系和電氣工程系的客座教授,曾任斯坦福人工智慧實驗室主任。他與達芙妮·科勒一起創建了在線教育平台Coursera。本篇文章吳恩達談到AI與邊緣運算。
Thumbnail
本篇文章是翻譯自 AI大神 吳恩達 Andrew Ng 的電子信件,吳恩達是史丹福大學計算機科學系和電氣工程系的客座教授,曾任斯坦福人工智慧實驗室主任。他與達芙妮·科勒一起創建了在線教育平台Coursera。本篇文章吳恩達談到AI與邊緣運算。
Thumbnail
這陣子一直在看AI對整個產業影響,但大多數我們可以看到都是偏向雲端或是服務器端的影響相對是第一個被沖擊的,所以,相對應的硬體成長也隨者這一波帶動不少成長。不過,我更好奇是否有機會AI也可以在Edge進行訓練與應用。因此,整理一些看過的內容。會許不久將來我們也許可以看到,說不久也可能不會太久
Thumbnail
這陣子一直在看AI對整個產業影響,但大多數我們可以看到都是偏向雲端或是服務器端的影響相對是第一個被沖擊的,所以,相對應的硬體成長也隨者這一波帶動不少成長。不過,我更好奇是否有機會AI也可以在Edge進行訓練與應用。因此,整理一些看過的內容。會許不久將來我們也許可以看到,說不久也可能不會太久
Thumbnail
隨著產業在沒有摩爾定律的情況下應對強大的動態、可持續性、生成式 AI 和數字化的挑戰,加速計算和人工智慧的到來是恰到好處的。工業公司正在競相數字化和轉型為軟件驅動的科技公司,成為破壞者而不是被破壞者。 Nvidia 宣布了一項雲服務,讓客戶可以使用其專有數據來建立、改進和操作自定義的大型語言模型和生
Thumbnail
隨著產業在沒有摩爾定律的情況下應對強大的動態、可持續性、生成式 AI 和數字化的挑戰,加速計算和人工智慧的到來是恰到好處的。工業公司正在競相數字化和轉型為軟件驅動的科技公司,成為破壞者而不是被破壞者。 Nvidia 宣布了一項雲服務,讓客戶可以使用其專有數據來建立、改進和操作自定義的大型語言模型和生
Thumbnail
雲端的概念如同打造一顆大腦,不論是亞馬遜 AWS、微軟 Azure、谷歌 GCP,都是一個媒介而已。當企業把 data 送到雲端開始建立 database 之後,雲端的大腦才會開始運作,而這個運作就是 AI。 AI 指「能模仿人類的智慧執行任務的系統或機器,可以根據所收集的資訊不斷自我調整、進化。」
Thumbnail
雲端的概念如同打造一顆大腦,不論是亞馬遜 AWS、微軟 Azure、谷歌 GCP,都是一個媒介而已。當企業把 data 送到雲端開始建立 database 之後,雲端的大腦才會開始運作,而這個運作就是 AI。 AI 指「能模仿人類的智慧執行任務的系統或機器,可以根據所收集的資訊不斷自我調整、進化。」
Thumbnail
雖然不是完全沒有競爭者,但基本上,在資料中心端的AI 運算處理器中,NVIDIA 可以說是在市場上佔據壟斷性的地位。也就是說,如果未來幾年,科技產業的重點是各家巨頭與新創獨角獸之間的 AI 大戰的話,那 NVIDIA 就是這場戰爭背後,最大的軍火供應商。
Thumbnail
雖然不是完全沒有競爭者,但基本上,在資料中心端的AI 運算處理器中,NVIDIA 可以說是在市場上佔據壟斷性的地位。也就是說,如果未來幾年,科技產業的重點是各家巨頭與新創獨角獸之間的 AI 大戰的話,那 NVIDIA 就是這場戰爭背後,最大的軍火供應商。
追蹤感興趣的內容從 Google News 追蹤更多 vocus 的最新精選內容追蹤 Google News