Andrej Karpathy 在 Y Combinator AI Startup School 的演講中，再次說明之前提及的軟體開發第三次革命「Software 3.0」。Karpathy認為，大型語言模型（LLM）不僅是工具，更像是一個新興的作業系統，徹底改變程式設計方式與人類 - AI 協作模式。TN科技筆記將整理演講中的重要觀點，推薦讀者有空可以觀看影片其他精彩內容。
軟體演進：從1.0到3.0的轉型
Andrej Karpathy 將軟體演進分為三階段：Software 1.0（傳統程式碼）、Software 2.0（神經網路權重）與Software 3.0（大型語言模型與自然語言提示）：
- Software 1.0：以 Python 、 C++ 等語言編寫明確指令，仰賴程式設計師的邏輯能力。
- Software 2.0：以神經網路為核心，透過資料集訓練與優化器生成模型參數，例如圖像識別模型 AlexNet 或生成模型 Flux 。以特斯拉 Autopilot 為例，說明神經網路如何逐步取代傳統程式碼。
- Software 3.0：以大型語言模型為基礎，程式設計從程式碼轉向自然語言提示詞（prompt）。例如，情感分析任務在1.0時代需撰寫複雜演算法，2.0時代訓練神經網路，而3.0時代僅需一句話提示大型語言模型即可完成。這一轉變讓程式設計更直觀，降低進入門檻，使非技術背景者也能參與軟體創作。
大型語言模型的心理學：人類心靈的模擬與缺陷
Andrej Karpathy 將大型語言模型形容為「人類心靈的隨機模擬」，其能力來自於網際網路文本訓練，具備百科全書般的記憶力，卻也存在認知缺陷：
- 超能力：大型語言模型能記憶大量資訊，類似電影《雨人》中超強記憶力的角色。
- 缺陷：包括幻覺（生成錯誤資訊，如誤判9.11 > 9.9）、鋸齒狀智慧（某些任務表現超群，某些卻犯低級錯誤）以及順行性遺忘症（無法像人類般累積經驗，上下文視窗即其工作記憶）。這些特性要求人類在與LLM協作時保持監督與驗證。
部分自主性應用：人類與 AI 的協同設計
Andrej Karpathy 強調當前大型語言模型的應用應專注於部分自主性，而非完全自主代理。他以程式設計工具 Cursor 為例，說明成功的大型語言模型應用需具備以下特點：
- 上下文管理：有效處理大量資料。
- 多模型協調：整合嵌入模型、聊天模型等。
- 專屬GUI：提供直觀介面，讓人類快速審核AI生成內容。
- 自主性滑塊 (Autonomy Slider)：允許使用者依任務需求調整 AI 自主程度，從簡單自動完成到全面程式碼生成。
他再以特斯拉的 Autopilot 為例，說明部分自主性產品需人類監督，並透過GUI加速驗證過程。Karpathy 建議，現階段應打造如「鋼鐵人套裝」的增強工具，而非完全自主的「鋼鐵人機器人」。
人類 - AI 協作循環：生成與驗證的關鍵
人類與AI的協作核心在於生成-驗證循環。AI 負責生成內容，人類負責驗證正確性，目標是讓這一循環快速且高效。Karpathy 提出兩大策略：
- 加速驗證：透過直觀的GUI（如程式碼差異的紅綠顯示）提升審核效率。
- 控制 AI：避免 AI 生成過於複雜的輸出，確保人類能輕鬆監督。例如，在教育應用中，教師可先審核 AI 生成的課程內容，確保其符合教學目標，從而「控制 AI 」於特定範圍內。
Software 3.0的到來代表軟體開發的民主化與人類 - AI 協作的新篇章。Andrej Karpathy 的完整演講也涵蓋更多精彩內容的洞見，不僅說明未來大型語言模型的潛力與局限，也為設計部分自主性應用提供了實務指引，推薦各位讀者觀看原影片！
我是TN科技筆記，如果喜歡這篇文章，歡迎留言、點選愛心、轉發給我支持鼓勵～～～也歡迎每個月請我喝杯咖啡，鼓勵我撰寫更多科技文章，一起跟著科技浪潮前進！！>>>>> 請我喝一杯咖啡
在此也感謝每個月持續請我喝杯咖啡的讀者們，讓我更加有動力為各位帶來科技新知！
