AI遷徙大圖鑑—Edge AI才是大boss

實在太多人將目光放在像是LLM之類的大型AI了。就運算資源來看，大型AI能帶給人類生活改變的幅度極為有限。因為這些模型必須在夠強大的運算平台上運作。更別提散熱或是耗電等問題。這類模型很難隱身在我們生活四周。因此，可帶來的改變預期其實不大。但是大型模型依舊是看待AI的重要指標。因為我們可以把這類大型模型當成是實驗室裡的產物。還待有心人將其大量的商業化。

除了推薦平台，透過現代人生活大幅度的與網路互動。推薦系統滲透每個人的生活以外。我們可以預期我們現在身邊的所有物體都可以AI化。這些佈建在生活四週的AI我們可以稱為edge AI。這當然不是定義。只是一個容易理解的圖像。我們所提的大型模型，其實無法佈建在我們生活四周。對於我們的生活影響力也變得有限。

Edge AI從現在大家對AI的理解來看，實在很廢。只是預測或是簡單的系統控制。但重點這些簡單的預測跟控制其實讓我們生活便利很多。像是電器感知空間的舒適度進而調整空調模式，甚至開關空調。生活中我們充斥著大大小小這類的判斷。我們花在判斷的時間越多。我們可以做選擇的時間越少。反之亦然。一旦將簡單的選擇外包出去，而且做得還比我們自己好時。我們的生活將會有質與量的巨大改變。

由於這些功能實在太過簡單。我們在意的只有一件事，就是速度。為什麼需要在edge上做計算呢？而不送至大型的伺服器做推論呢？因為要將散至各個地方的數據搜集，送到伺服器。再將指令或推論結果傳下來。會畫非常多的時間。越是簡單的判斷花越多的時間，只會讓人覺得很笨而已。你可以回想你在關上電腦視窗時，電腦畫面只出現一個圓圈圈一直繞著。繞了三十秒，你是不是很想砸了電腦，然後出門換一台最新的筆電。同樣的，如果一個只是判斷現在是不是很熱的判斷。需要像你使用chatGPT一樣，對話框不斷繞圈圈。你大概會先去把你手上的AI股賣掉。

因為能夠放在edge端的AI。你可以想成這才是真正落地成功的模型。現在的語音模型還沒真正商業化，除了無法真的找到合適的商業模式以外。重要的是，這些模型因為計算資源的需求還沒辦法滲透到我們的生活四週。畢竟我們可以看著「xxx is typing」在視窗浮動著，等待我們的網聊對像兩分鐘回一句話，但無法忍受超商店員怠慢十秒鐘，只為了幫另個客人啟動咖啡機煮拿鐵。

而計算中心要做什麼呢？我們有空再聊了。