[AI翻譯] AI與邊緣運算

閱讀時間約 3 分鐘
raw-image

本篇文章是翻譯自 AI大神 吳恩達 Andrew Ng 的電子信件,吳恩達是史丹福大學計算機科學系和電氣工程系的客座教授,曾任斯坦福人工智慧實驗室主任。他與達芙妮·科勒一起創建了在線教育平台Coursera。本篇文章吳恩達談到AI與邊緣運算。

親愛的朋友們:

我之前曾經談到,我在AI基金會的團隊,在ChatGPT推出兩年前,就看到GPT-3為構建語言應用開闢了一條新道路。我要冒險做另一個預測:我認為我們會看到AI應用,包括生成式AI在網絡邊緣或叫做邊緣運算(PC、筆記本電腦、移動設備等)的顯著增長。

我知道這與傳統觀點相悖。大多數AI運行於數據中心,而不是邊緣設備上。這有很好的理由:

  • 大多數強大的大語言模型需要100B+參數和大量的記憶體,即使只用于推理(100B參數,使用8位定點量化存儲,需要100GB的內存)。
  • 許多企業更願意運營基於雲的軟件即服務(SaaS)產品(這樣他們可以收取經常性的訂閱費),而不是運行於邊緣的軟件(用戶傾向於優先支付一次性費用)。 SaaS還使公司能夠獲取用於改進產品的數據,並使產品更容易升級。
  • 今天許多開發者已經習慣了構建SaaS應用程序,並希望建立基於雲的應用程序,而不是桌面或其他邊緣應用程序。

以下是我認為那些因素不會阻止AI在邊緣的增長的原因。

  • AI應用程序已經開始在現代邊緣設備上運行得相當不錯。例如,我經常在筆記本電腦上運行具有大約10億到100億參數的模型。如果我在沒有WiFi接入的飛機上工作,我有時會運行一個小型模型來幫助我的工作。
  • 對於許多應用程序來說,一個規模適中的模型就可以很好地完成工作,特別是如果它已經進行了特定任務的微調。為了幫助我找出論述中的語法錯誤,我真的需要一個具有1750億參數、擁有廣泛知識的模型,可以處理哲學、歷史、天文學和太陽系下的所有其他主題嗎?
  • 許多用戶,特別是那些出生於1996年至2010年的Z世代(其行為傾向是未來消費趨勢的領先指標),越來越關注隱私。這促進了蘋果產品的銷售,因為該公司以注重隱私而聞名。當然,為了檢查我的語法,我不需要與大型科技公司共享我的數據。
  • 同樣,對於擔心自己數據隱私的公司,邊緣運算(以及內部部署和虛擬私有雲選項)可能也很有吸引力。
  • 此外,強大的商業利益也正在推動AI走向邊緣。像英偉達、AMD和Intel这样的芯片製造商,向數據中心(其銷售量已快速增長)和用於PC和筆記本電腦(自疫情以來銷量暴跌)銷售芯片。因此,半導體製造商以及PC/筆記本電腦製造商(和微軟,其Windows作業系統銷售依賴於新PC/筆記本電腦的銷售)都高度激勵消費者採用邊緣AI,因為這可能需要消費者升級設備以獲得更先進的AI加速器。因此,許多公司都將從邊緣AI的興起中獲益,並會有動力去推動它。

AI基金會一直在探索各種邊緣AI應用,我認為機會將會非常豐富和多樣化。有趣的半導體技術將支持它們。例如,AMD的xDNA架構,利用現為AMD子公司的Xilinx設計的可配置內核,使同時運行多個AI模型變得更容易。這可實現一種未來,一個AI模型調整我們視頻通話的圖像質量,另一個即時檢查我們的語法,第三個連結相關文章。

雖然邊緣AI仍處於初期階段 - 無論是消費市場還是工業市場(例如在工廠或重型機械上運行),但我認為除了大量的雲端AI應用機會外,還值得進行調查。

繼續學習!

祝好
吳恩達

技術PM的AI實驗室,是以輕鬆的角度深入簡出的探討各種生成式AI工具的使用。無論你是想理解AI到底是怎麼運作的? 想知道有那些好用的生成式AI工具? 或者是對AI繪圖有興趣的,都歡迎加入我們的AI實驗室一起輕鬆地玩耍,我們邊玩邊學,學習跟AI一起共創新的可能。
留言0
查看全部
avatar-img
發表第一個留言支持創作者!
本篇文章是筆者近期聽過的一篇非常好的Podcast,為了想要記錄下來於是找了Podcast Note並且配合ChatGPT進行翻譯,想要聽Podcast或是參考原文的請看這邊。 本篇文章從神經心理學上面探討如何增強你的意志力跟監韌性,我覺得非常值得參考,分享給大家。 如何增強你的意志力和堅韌
ChatGPT背後的技術 大型語言模型 是否與我們前面介紹的神經網路相同呢? 答案是不同的,這也是我們想要進一步探討了解的課題。今天會先解釋什麼是語言模型,想要做到的是哪些事情。
今天要介紹的是一款免費好用的AI圖片放大器。 這款AI圖片放大器不但是完全免費的,而且好心人士還編譯了Windows/Linux/MacOS等各種版本,讓大家可以直接一鍵下載安裝,可是說是非常的佛心。
2023年才到三月為止,VC投入生成式AI的市場的估值就已經超越了前兩年的總和,可以想見整年下來絕對是一個數量級以上的差異。難道AI是這兩年才發明出來的嗎? 為什麼忽然之間全世界都在關注AI呢?  這就是我們這邊文章想要探討的,究竟AI發展到現在是否有什麼突破? 為什麼大家開始關注起AI。
我們這篇文章的目的是希望透過了解Code Interpreter的原理是什麼,進而去理解Code Interpreter的能耐,再透過理解這個工具可以做到什麼,來反思我們該把那些工作交給這個全新的AI應用工具,重點是那些功能是過去做不到但是現在能夠做到的了?
我們曾討論過,AI的工具這麼多,我們該學習那些? 今天我們要談的,其實只是一個心態,就是希望各位不用恐懼也不用急著去學一大堆的AI工具,甚至我們覺得,時常有人討論到的AI溝通師 prompt engineer 為什麼我們不認為長期來說是一個好的職業鑽研方向。
本篇文章是筆者近期聽過的一篇非常好的Podcast,為了想要記錄下來於是找了Podcast Note並且配合ChatGPT進行翻譯,想要聽Podcast或是參考原文的請看這邊。 本篇文章從神經心理學上面探討如何增強你的意志力跟監韌性,我覺得非常值得參考,分享給大家。 如何增強你的意志力和堅韌
ChatGPT背後的技術 大型語言模型 是否與我們前面介紹的神經網路相同呢? 答案是不同的,這也是我們想要進一步探討了解的課題。今天會先解釋什麼是語言模型,想要做到的是哪些事情。
今天要介紹的是一款免費好用的AI圖片放大器。 這款AI圖片放大器不但是完全免費的,而且好心人士還編譯了Windows/Linux/MacOS等各種版本,讓大家可以直接一鍵下載安裝,可是說是非常的佛心。
2023年才到三月為止,VC投入生成式AI的市場的估值就已經超越了前兩年的總和,可以想見整年下來絕對是一個數量級以上的差異。難道AI是這兩年才發明出來的嗎? 為什麼忽然之間全世界都在關注AI呢?  這就是我們這邊文章想要探討的,究竟AI發展到現在是否有什麼突破? 為什麼大家開始關注起AI。
我們這篇文章的目的是希望透過了解Code Interpreter的原理是什麼,進而去理解Code Interpreter的能耐,再透過理解這個工具可以做到什麼,來反思我們該把那些工作交給這個全新的AI應用工具,重點是那些功能是過去做不到但是現在能夠做到的了?
我們曾討論過,AI的工具這麼多,我們該學習那些? 今天我們要談的,其實只是一個心態,就是希望各位不用恐懼也不用急著去學一大堆的AI工具,甚至我們覺得,時常有人討論到的AI溝通師 prompt engineer 為什麼我們不認為長期來說是一個好的職業鑽研方向。
你可能也想看
Google News 追蹤
Thumbnail
這個秋,Chill 嗨嗨!穿搭美美去賞楓,裝備款款去露營⋯⋯你的秋天怎麼過?秋日 To Do List 等你分享! 秋季全站徵文,我們準備了五個創作主題,參賽還有機會獲得「火烤兩用鍋」,一起來看看如何參加吧~
Thumbnail
11/20日NVDA即將公布最新一期的財報, 今天Sell Side的分析師, 開始調高目標價, 市場的股價也開始反應, 未來一週NVDA將重新回到美股市場的焦點, 今天我們要分析NVDA Sell Side怎麼看待這次NVDA的財報預測, 以及實際上Buy Side的倉位及操作, 從
Thumbnail
Hi 大家好,我是Ethan😊 相近大家都知道保濕是皮膚保養中最基本,也是最重要的一步。無論是在畫室裡長時間對著畫布,還是在旅途中面對各種氣候變化,保持皮膚的水分平衡對我來說至關重要。保濕化妝水不僅能迅速為皮膚補水,還能提升後續保養品的吸收效率。 曾經,我的保養程序簡單到只包括清潔和隨意上乳液
我們人類和ChatGPT的對話技巧也是需要學習的,有鑑於此,我想要一天分享一點「和ChatGPT對話的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 Multiple-Step Process 範例 期望的輸出:在數位行銷領域,了解搜尋引擎不斷發展的演
Thumbnail
Meta 全新 Ray-Ban 智慧眼鏡在 Meta Connect 2024 活動上亮相,展示了多項引人注目的新功能,包括即時翻譯、記憶功能、多模態互動以及為視障人士設計的「Be My Eyes」協作功能。
Thumbnail
AI的特徵是「沒有個性」,它產出的東西絕對非常中立、沒有任何立場,因此用AI寫的作業其實非常容易辨識,這個特色說不定會是譯者(或創作者)取勝的關鍵。
Thumbnail
隨著AI與沉浸式翻譯技術的發展,這些創新正逐步改變智能教育和企業的全球化策略。本文討論了不同的AI沉浸式翻譯產品與解決方案,如何優化教學與商務應用,同時面對市場的挑戰和機遇。透過實戰經驗分享,探索AI在翻譯領域的未來發展趨勢,定義多語言溝通的新境界。
Thumbnail
本篇文章是 以ChatGPT翻譯華頓商學院教授Ethan Mollick的文章,並且稍微加上修飾而來的,是一篇相當好的該如何使用AI的引言,分享給各位。 我們學到的就是,只要使用AI,你就會學會如何使用AI。你只需大量使用AI,直到你弄清楚它的優點和缺點,就可以成為你領域的AI應用專家。
Thumbnail
近年來,隨著人工智慧的崛起,自動翻譯成為一項受到廣泛關注的技術,這種技術的應用使我們不再需要學習其他國家的語言,因為AI能夠自動翻譯,這也成為許多科技公司努力的目標。然而,就像所有技術一樣,它也具有潛在的風險。
Thumbnail
【葉郎每日讀報】20230615 ▌葉郎讀報:Warner說Nolan你回來吧▌ 從MGM轉來Warner Studios主管製片業務的Michael De Luca和Pam Abdy雙人組,在受訪時表示他們希望尋求與先前遭到冷落的創作者重新建立關係。他們目標是讓片廠的人才庫擴大,以便為傳統電影院通
Thumbnail
近期接觸到了 notion 的AI翻譯功能,一試之下驚為天人,不是只有單純的語句翻譯,還可以選擇...
Thumbnail
人工智能的應用已普及,使用適當的數位工具能提升學習和工作效率。本文介紹 ChatPDF 工具,讓你透過與 PDF 文件對話,讓 AI 協助你快速翻譯、整理論文、進行文件摘要等。它還會標註回覆是來自文件中的哪一頁,節省你的尋找時間。所有回應都基於你提供的PDF製作,沒有 ChatGPT自導自演問題。
Thumbnail
這個秋,Chill 嗨嗨!穿搭美美去賞楓,裝備款款去露營⋯⋯你的秋天怎麼過?秋日 To Do List 等你分享! 秋季全站徵文,我們準備了五個創作主題,參賽還有機會獲得「火烤兩用鍋」,一起來看看如何參加吧~
Thumbnail
11/20日NVDA即將公布最新一期的財報, 今天Sell Side的分析師, 開始調高目標價, 市場的股價也開始反應, 未來一週NVDA將重新回到美股市場的焦點, 今天我們要分析NVDA Sell Side怎麼看待這次NVDA的財報預測, 以及實際上Buy Side的倉位及操作, 從
Thumbnail
Hi 大家好,我是Ethan😊 相近大家都知道保濕是皮膚保養中最基本,也是最重要的一步。無論是在畫室裡長時間對著畫布,還是在旅途中面對各種氣候變化,保持皮膚的水分平衡對我來說至關重要。保濕化妝水不僅能迅速為皮膚補水,還能提升後續保養品的吸收效率。 曾經,我的保養程序簡單到只包括清潔和隨意上乳液
我們人類和ChatGPT的對話技巧也是需要學習的,有鑑於此,我想要一天分享一點「和ChatGPT對話的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 Multiple-Step Process 範例 期望的輸出:在數位行銷領域,了解搜尋引擎不斷發展的演
Thumbnail
Meta 全新 Ray-Ban 智慧眼鏡在 Meta Connect 2024 活動上亮相,展示了多項引人注目的新功能,包括即時翻譯、記憶功能、多模態互動以及為視障人士設計的「Be My Eyes」協作功能。
Thumbnail
AI的特徵是「沒有個性」,它產出的東西絕對非常中立、沒有任何立場,因此用AI寫的作業其實非常容易辨識,這個特色說不定會是譯者(或創作者)取勝的關鍵。
Thumbnail
隨著AI與沉浸式翻譯技術的發展,這些創新正逐步改變智能教育和企業的全球化策略。本文討論了不同的AI沉浸式翻譯產品與解決方案,如何優化教學與商務應用,同時面對市場的挑戰和機遇。透過實戰經驗分享,探索AI在翻譯領域的未來發展趨勢,定義多語言溝通的新境界。
Thumbnail
本篇文章是 以ChatGPT翻譯華頓商學院教授Ethan Mollick的文章,並且稍微加上修飾而來的,是一篇相當好的該如何使用AI的引言,分享給各位。 我們學到的就是,只要使用AI,你就會學會如何使用AI。你只需大量使用AI,直到你弄清楚它的優點和缺點,就可以成為你領域的AI應用專家。
Thumbnail
近年來,隨著人工智慧的崛起,自動翻譯成為一項受到廣泛關注的技術,這種技術的應用使我們不再需要學習其他國家的語言,因為AI能夠自動翻譯,這也成為許多科技公司努力的目標。然而,就像所有技術一樣,它也具有潛在的風險。
Thumbnail
【葉郎每日讀報】20230615 ▌葉郎讀報:Warner說Nolan你回來吧▌ 從MGM轉來Warner Studios主管製片業務的Michael De Luca和Pam Abdy雙人組,在受訪時表示他們希望尋求與先前遭到冷落的創作者重新建立關係。他們目標是讓片廠的人才庫擴大,以便為傳統電影院通
Thumbnail
近期接觸到了 notion 的AI翻譯功能,一試之下驚為天人,不是只有單純的語句翻譯,還可以選擇...
Thumbnail
人工智能的應用已普及,使用適當的數位工具能提升學習和工作效率。本文介紹 ChatPDF 工具,讓你透過與 PDF 文件對話,讓 AI 協助你快速翻譯、整理論文、進行文件摘要等。它還會標註回覆是來自文件中的哪一頁,節省你的尋找時間。所有回應都基於你提供的PDF製作,沒有 ChatGPT自導自演問題。