今天526，早一點起跑沒那麼熱，今天我們談AI的發展進程
近來的一個專訪，對象是曾擔任特斯拉人工智慧和自動駕駛視覺總監Andrej Karpathy，訪談節錄非常豐富，包含 Karpathy 對 AI 發展瓶頸、智能本質、教育未來的深度觀察。
他提到，我們正進入一個「AI 智能代理的十年（Decade of Agents）」。這不是「AI 元年」，而是一場長達十年的進化。相對於智人，有幾個目前AI仍然無法跨域的瓶頸包含缺乏真正的智能、缺乏多模態理解、無法自主使用電腦、沒有長期記憶；可能需要十年的發展才有辦法達成，他用一句我非常喜歡的比喻來形容 AI 的進步過程：
「AI 的發展是一場『九的行軍（March of Nines）』。」
從90% 到99%，再到99.9%，每多一個「九」，都要付出同樣巨大的努力。
這就像自駕車或晶片良率一樣——要從能跑的 Demo 到可量產的 Product，每一個「九」背後都藏著無數工程挑戰。
而他的另一個關點是AI 到現在為止還不是生命體，根據現在LLM的架構，他稱它作被『召喚的幽靈』，是一個模仿人類靈魂但是卻缺乏「認知核心（Cognitive Core）」，根據他的這一個論點，我們人類目前走的方向是建立更大的模型也家是更大量個參數，是GPU為什麼一直不夠的原因，而我們人類的演化到現在，我不確定大腦連結是否是比100年前更多，使得我們對於知識的理解更為全面，還是我們擁有一個認知核心，Karpathy希望 AI 能被精煉成一個「認知核心（Cognitive Core）」，不需要記住所有知識，卻擁有最純粹的智能演算法，能推理、能解決問題。
後來他更提到了睡眠之於人類的重要性，其實是一重組經驗轉化成知識的過程，然而AI或者說是LLM，目前就是瘋狂的大量的資料的訓練，每一次的訓練重啟如gpt4.0到gpt5.0，就像是詩意的過程，演算法的精進在於以演算法本身，演算法是必須重頭開始的規劃；以我對AI粗淺的理解，我會把它比喻成登山一樣，假如AGI是山頂，訓練變像是在從山腳下開一條路，GPT3.0用的可能是鐮刀然後用芒草生長的方向定位往山頂去，而gpt4.0進步的是工具，可能是電動割草機與北極星定位，到的gpt5.0的訓練手法可能已經達到了機器手臂與GPS定位；然而不變的一件事情是都得從山腳下重新開始爬。
“AI 每次重啟就像「失憶」，沒有學會怎麼自己進化。 這正是當前 AI 難以「變聰明」的根本原因之一。”
而一個被推從的強化學習的方法，用的是人類對於其答案的反饋機制，這一個機制可能隱含的問題是思考空間的受限，因為 RL 的獎勵只有最後一個結果，好壞都被平均分攤在整個過程中，讓模型誤學了錯誤的步驟。而所謂「過程導向的監督（process-based supervision）」雖然更合理，但極難自動化。更糟的是，用 LLM 來當裁判還可能被騙——模型會學會「取巧」去哄騙評審，產生看似正確但實際錯誤的輸出。
Karpathy對強化學習（Reinforcement Learning）毫不留情——
「這是一種透過吸管吸取監督訊號的愚蠢方式。」
人類的演進隨著更多的雜訊加入，並沒有因此而僵化，反而創造了不同的多樣性，而這可能是目前AI LLM 尚未有辦法複製的地方！
最後Karpathy所酌陳的部分在教育是建構通往理解的坡道（ramps to knowledge)，而不是灌輸知識；他闡述了利用AI當人類的導師，解構的不是回答正確的問題，而是帶領學生去逐步的拆解問題並試誤，然後找到正確的答案（假設這個答案在人類的知識理解範圍被歸納於正確的)。
基於以上Karpathy的訪談摘要與理解，這未來10年的AI進程將是一個人類從AI代理-『it 它』過渡到AI人-『he 他』；現在我們得善用這個它，借著他的能力幫助我們摘要理解與規劃，或許到了他的那一天，他能夠乘載我的所有心智行為等，而長生不老或許不那麼重要，因為他就是自己，自己就是他。
我是Leadige，我是一個工程師，我跑步讀書聽podcast，與你一起分享觀點。
今天526，早一點起跑沒那麼熱，今天我們談AI的發展進程
近來的一個專訪，對象是曾擔任特斯拉人工智慧和自動駕駛視覺總監Andrej Karpathy，訪談節錄非常豐富，包含 Karpathy 對 AI 發展瓶頸、智能本質、教育未來的深度觀察。
他提到，我們正進入一個「AI 智能代理的十年（Decade of Agents）」。這不是「AI 元年」，而是一場長達十年的進化。相對於智人，有幾個目前AI仍然無法跨域的瓶頸包含缺乏真正的智能、缺乏多模態理解、無法自主使用電腦、沒有長期記憶；可能需要十年的發展才有辦法達成，他用一句我非常喜歡的比喻來形容 AI 的進步過程：
「AI 的發展是一場『九的行軍（March of Nines）』。」
從90% 到99%，再到99.9%，每多一個「九」，都要付出同樣巨大的努力。
這就像自駕車或晶片良率一樣——要從能跑的 Demo 到可量產的 Product，每一個「九」背後都藏著無數工程挑戰。
而他的另一個關點是AI 到現在為止還不是生命體，根據現在LLM的架構，他稱它作被『召喚的幽靈』，是一個模仿人類靈魂但是卻缺乏「認知核心（Cognitive Core）」，根據他的這一個論點，我們人類目前走的方向是建立更大的模型也家是更大量個參數，是GPU為什麼一直不夠的原因，而我們人類的演化到現在，我不確定大腦連結是否是比100年前更多，使得我們對於知識的理解更為全面，還是我們擁有一個認知核心，Karpathy希望 AI 能被精煉成一個「認知核心（Cognitive Core）」，不需要記住所有知識，卻擁有最純粹的智能演算法，能推理、能解決問題。
後來他更提到了睡眠之於人類的重要性，其實是一重組經驗轉化成知識的過程，然而AI或者說是LLM，目前就是瘋狂的大量的資料的訓練，每一次的訓練重啟如gpt4.0到gpt5.0，就像是詩意的過程，演算法的精進在於以演算法本身，演算法是必須重頭開始的規劃；以我對AI粗淺的理解，我會把它比喻成登山一樣，假如AGI是山頂，訓練變像是在從山腳下開一條路，GPT3.0用的可能是鐮刀然後用芒草生長的方向定位往山頂去，而gpt4.0進步的是工具，可能是電動割草機與北極星定位，到的gpt5.0的訓練手法可能已經達到了機器手臂與GPS定位；然而不變的一件事情是都得從山腳下重新開始爬。
“AI 每次重啟就像「失憶」，沒有學會怎麼自己進化。 這正是當前 AI 難以「變聰明」的根本原因之一。”
而一個被推從的強化學習的方法，用的是人類對於其答案的反饋機制，這一個機制可能隱含的問題是思考空間的受限，因為 RL 的獎勵只有最後一個結果，好壞都被平均分攤在整個過程中，讓模型誤學了錯誤的步驟。而所謂「過程導向的監督（process-based supervision）」雖然更合理，但極難自動化。更糟的是，用 LLM 來當裁判還可能被騙——模型會學會「取巧」去哄騙評審，產生看似正確但實際錯誤的輸出。
Karpathy對強化學習（Reinforcement Learning）毫不留情——
「這是一種透過吸管吸取監督訊號的愚蠢方式。」
人類的演進隨著更多的雜訊加入，並沒有因此而僵化，反而創造了不同的多樣性，而這可能是目前AI LLM 尚未有辦法複製的地方！
最後Karpathy所酌陳的部分在教育是建構通往理解的坡道（ramps to knowledge)，而不是灌輸知識；他闡述了利用AI當人類的導師，解構的不是回答正確的問題，而是帶領學生去逐步的拆解問題並試誤，然後找到正確的答案（假設這個答案在人類的知識理解範圍被歸納於正確的)。
基於以上Karpathy的訪談摘要與理解，這未來10年的AI進程將是一個人類從AI代理-『it 它』過渡到AI人-『he 他』；現在我們得善用這個它，借著他的能力幫助我們摘要理解與規劃，或許到了他的那一天，他能夠乘載我的所有心智行為等，而長生不老或許不那麼重要，因為他就是自己，自己就是他。
我是Leadige，我是一個工程師，我跑步讀書聽podcast，與你一起分享觀點。