在 AI 領域，很少有人能像 Andrej Karpathy 那樣，擁有橫跨學術界、頂尖實驗室與產業龍頭的完整資歷。從史丹佛到 OpenAI 的創始成員，再到領導特斯拉 Autopilot 團隊，Karpathy 的每一步都深刻影響著 AI 的發展軌跡。當整個產業充斥著對 AGI（通用人工智慧）即將到來的樂觀預測時，Karpathy 卻拋出了一個更為審慎的觀點：「這將是『 Agent 十年』，而非『 Agent 元年』。」
Karpathy 這次在 Dwarkesh Podcast 上的訪談內容相當精采，強烈建議您親自去觀看這集超過一個小時的完整影片。他不僅談論了 AGI 的時程預測，更深度解析強化學習的缺陷、AI 如何融入經濟體系，以及未來教育的方向等關鍵議題。本文將為你重點說明為何 Karpathy 認為，真正實用、能像人類實習生一樣工作的 AI Agent，仍需要十年的時間來打磨。
為何是「 Agent 十年」，而不是「 Agent 元年」？
當許多人被 AI 驚豔的展示（Demo）所震撼時，Karpathy 提醒我們，從展示到一個可靠的產品，之間存在著巨大的鴻溝。從 Demo 到產品的鴻溝：99.9% 的漫長征途
Karpathy 引用他在特斯拉的經驗，提出「9的進軍」（March of Nines）概念。一個能達到 90% 成功率的展示，只是完成了第一個「9」。要從 90% 提升到 99%，再到 99.9%，每一個「9」的增加，都需要付出與第一次同樣、甚至更多的努力。特別是在自駕車或關鍵軟體工程這類「高失敗成本」的領域，最後 1% 的可靠性，才是決定產品成敗的關鍵，而這正是最耗時、最艱鉅的部分。
當前 AI 模型的「認知缺陷」
Karpathy 在開發 nanochat（相關文章在這裡：Andrej Karpathy 最新專案：100 美金打造自己的 ChatGPT — nanochat 解析）的過程中，深刻體會到當前大型語言模型（LLM）的「認知缺陷」。他發現，當前的 AI Agent 在處理樣板化、網路上有大量範例的程式碼時表現不錯，但一旦面對需要深度理解、架構新穎的專案時，便會暴露出許多問題：
- 過度依賴記憶：模型會不斷嘗試套用網路上最常見的作法，即使開發者已經明確採用了不同的客製化路徑。
- 缺乏靈活性：它們無法真正理解程式碼背後的「為何如此」，導致整合新功能時頻頻出錯。
- 膨脹複雜度：AI 會加入過多防禦性的程式碼，試圖將專案變成「產品級」程式碼庫，反而讓程式碼變得臃腫且偏離初衷。
對 Karpathy 而言，目前 LLM 在寫程式這件事上，最好用的功能是「自動補完」（Auto-complete），開發者仍然是主導的架構師。而完全交由 AI 處理的「代理模式」，其表現還遠遠不夠可靠。
AI 發展史的幾次轉折與一次「美麗的錯誤
回顧過去十五年的 AI 發展，Karpathy 認為我們經歷了幾次重大轉向，其中也包含一些值得反思的「彎路」。
我們在打造「數位幽靈」，而非「人工動物」
針對「AI 應該模仿生物演化」的觀點，Karpathy 提出了反駁。他認為，動物的智慧是數億年演化的產物，大量能力被「寫入硬體」。例如，斑馬寶寶出生幾分鐘後就能跑動，這並非即時學習，而是演化預先設定好的能力。
相比之下，我們現在的 AI 是透過模仿網際網路上的人類數據來訓練的。它們沒有身體，沒有演化歷史，更像是一種「數位幽靈」。而「預訓練」（Pre-training）這個過程，就是我們目前能做到、最接近演化的一種「蹩腳的演化」。
從遊戲到語言模型：對強化學習的重新思考
Karpathy 直言，AI 領域曾一度過度投入在遊戲的強化學習（Reinforcement Learning, RL）上。他認為，雖然遊戲提供了一個封閉的環境，但它與解決真實世界、從事知識工作的智慧相去甚遠。
他更辛辣地指出，當前的強化學習機制是「糟糕的」（terrible）。他用了一個生動的比喻：「就像透過吸管吸取監督訊號」。模型在解決一個問題時，會產生數百種嘗試路徑，最終可能只有幾條成功了。RL 的作法是將這幾條成功路徑上的「每一個」步驟都給予正面權重，即便其中包含許多碰巧猜對的錯誤或繞路。這是一種極其低效的學習方式。
相比之下，人類在解決問題後，會進行複雜的「反思」，分析哪些部分做得好、哪些是運氣，從而提煉出真正的知識。目前的 LLM 缺乏這種能力，儘管學術界已開始朝此方向研究，後續 Karpathy 也有補充說明，目前RL並非完全錯誤，只是仍然有大量進步空間，就好比 LLM 訓練持續疊層。
拆解 AI 的核心：我們真正需要的是「認知核心」，而非「海量知識」
Karpathy 認為，預訓練賦予了模型兩樣東西：海量的知識與解決問題的智慧（認知核心）。而這兩者之間，存在著一種緊張關係。
記憶的詛咒：當知識成為一種包袱
他觀察到，LLM 對於記憶訓練資料中的具體知識過於依賴，這反而限制了它們的通用性與創造力。就像一個只會背誦課本，卻不懂得舉一反三的學生。Karpathy 相信，未來 AI 研究的一個重要方向，是如何「剝離」掉模型中龐雜的、事實性的知識，只保留下那個純粹的、負責推理、規劃、學習的「認知核心」。一個更理想的 AI，應該是擁有強大思考能力，但在需要具體知識時，懂得去「查詢」，而不是什麼都記在腦中。（相關文章在這裡：DeepSeek-OCR ：如何用「光學內容壓縮」終結 LLM 的長文本處理惡夢？）
AGI 會引爆經濟嗎？Karpathy 的觀點可能讓你很意外
對於 AGI 將帶來爆炸性經濟成長的預測，Karpathy 再次展現了他的務實與冷靜。他認為，AI 更像是過去數百年來自動化浪潮的延續，而非一個會徹底顛覆經濟規律的奇點。
他指出，無論是個人電腦的普及，還是網際網路的誕生，這些革命性的科技都未能讓全球的 GDP 年增長率顯著偏離長期維持的 2% 左右的趨勢線。它們的影響是巨大的，但也是漸進地、平滑地融入到經濟體系中。Karpathy 預測，AI 的發展也將遵循同樣的模式，它會逐步提升生產力，重塑工作模式，但最終會被「平均」進那條平穩的指數增長曲線中，而不是創造一個陡峭的、垂直的起飛。
TN科技筆記的觀點
- 「透過吸管吸取監督訊號」這個比喻一針見血地點出了當前強化學習的根本困境「訊號稀疏」與「高噪訊」。這解釋了為何模型在看似「學會」某些任務後，依然脆弱且缺乏真正的理解力。這也指引了一個清晰的未來思考方向，AI 需要學會像人一樣「反思」，而不僅僅是基於最終成敗來進行粗暴的獎懲。
- 我們長期以來可能混淆了「知道什麼」（知識）和「如何思考」（智慧）。Karpathy 提出，AI 的強大記憶力可能是一種「詛咒」，未來更專注於思考演算法，並懂得利用外部工具查證事實的「認知核心」模型，可能是更高效的發展路徑。
- 如果 Karpathy 對於「十年」和「緩慢融入」的判斷是正確的，那麼當前產業中由過度炒作所驅動的巨大投資和資源傾斜，可能面臨「期望泡沫化」的風險。當產品無法在短期內兌現 AGI 級別的承諾時，是否會引發失望情緒，甚至導致部分資源的撤出？
支持TN科技筆記，與科技共同前行
我是TN科技筆記，如果喜歡這篇文章，歡迎留言、點選愛心、轉發給我支持鼓勵～～～也歡迎每個月請我喝杯咖啡，鼓勵我撰寫更多科技文章，一起跟著科技浪潮前進！！>>>>> 請我喝一杯咖啡
在此也感謝每個月持續請我喝杯咖啡的讀者們，讓我更加有動力為各位帶來科技新知！
以下是我的 threads 也歡迎追蹤、回覆、轉發喔！
>>>>> TN科技筆記(TechNotes)
