Hi 我是 VK~
在電子報中有個主題是「科技人物特寫」，通常會從一個人的視角去看他的選擇和他在一家公司的影響。像過去我們介紹過微軟前任執行長 Steve Ballmer、蘋果執行長 Tim Cook 和國防新創 Anduril 共同創辦人 Palmer Luckey 等人。
在未來可以寫的科技人物中，一直有個很想寫但還沒寫的人，他就是身為 OpenAI 共同創辦人、前特斯拉 AI 總監和 Autopilot Vision 團隊負責人 Andrej Karpathy，同時他也是一位電腦視覺和深度學習領域的專家。
在這期的內容會有：
- Andrej Karpathy 是誰？過去重要貢獻？
- 為什麼決定投身教育新創？
- 為什麼長期看好特斯拉的自動駕駛？🔒
- 人形機器人的未來 🔒
喜歡這期的內容，歡迎分享給朋友一起訂閱《VK科技閱讀時間》，祝你今天一切順利~
從 Karpathy 的職涯軌跡來看，會發現他是個很有趣的人。
過去他待過 OpenAI、特斯拉，這讓他在討論自動駕駛、機器學習等科技議題上，都會有些獨到見解。現在的他離開這兩家公司，跑出去創了 AI 教育新創 Eureka Labs，還是超過 56 萬訂閱的 Youtuber。
前陣子他有篇推文〈on shortification of "learning"〉，在談學習速成化的現象，他認為「學習不該是有趣的，它不必刻意令人不愉快，但其中最主要的感受應該是付出努力。」
這就像不能期待跟著做完十分鐘運動影片，就會做到跟去健身房進行一次完整訓練的效果是一樣的。如果真的想要學到東西，就需要在心智上有「揮汗的效果」。
很喜歡這篇推文，內容不長卻言簡意賅點出學習的本質，非常推薦閱讀。（也可以鎖定這週三上架最新一集的 Podcast，我們會談到這篇推文，還有我從中獲得的啟發）
這些都讓我很好奇 Karpathy 的選擇、他對這些科技議題的想法。那為什麼想寫，一直沒寫？
Karpathy 非常少接受訪談，在《No Priors》訪談出來前，他最近的訪談是兩年前上 Lex Fridman 的 Podcast。直到前陣子他去上了《No Priors》後，談了很多他對於自動駕駛、AI 模型的未來、AI 時代下的教育等。
想想是個不錯的時機點來介紹 Karpathy 和他對於科技的見解與未來教育的想像。（主要會從這兩集 Podcast 提到的內容延伸討論，其中以《No Priors》為主）
Andrej Karpathy 是誰？為什麼重要？
在介紹 Andrej Karpathy 之前，先來談一下美國電玩遊戲設計師 John Carmack 對他的高度評價：「當我從他的博客文章和他的史丹佛課程中學到了很多東西....當我聽說他真的離開特斯拉時，我當然和其他一百個人一起說，嘿，如果你想和我一起工作，那將是一個榮幸....」。
Carmack 提到的史丹佛課程，是 Karpathy 在 2011-2015 年念史丹佛博士學位時，他設計了第一門關於深度學習課程「CS 231n: Convolutional Neural Networks for Visual Recognition」（CS 231n：視覺辨識中的卷積神經網絡），並且也擔任這個課程中的主要講師。
當時他在博士班主攻自然語言處理、電腦視覺等領域，他的導師正是史丹佛視覺實驗室的李飛飛。他的論文主要在談如何建立一個系統，透過這系統讓神經網路可以識別圖像中的多個離散和特定專案，使用自然語言標記它們並向用戶報告。
這篇論文還提到，開發一個反向工作的系統允許模型可以使用以自然語言表達的使用者描述（像是白色球鞋），並在特定圖像中找到該物件。在他讀博士的這段期間，也在 Google、DeepMind 擔任實習工作、從事深度深度學習等工作。
Karpathy 後來比較為人熟知的兩個身分是 OpenAI 共同創辦人、前特斯拉 AI、Autopilot Vision 總監。
- OpenAI （2015-2017、2023-2024）
他從史丹佛博士班畢業後就和 Sam Altman、Elon Musk 和 Ilya Sutskever 等人一起創辦了OpenAI。他也在 OpenAI 以研究科學家工作了兩年的時間，主要聚焦在深度學習、生成模型、強化學習等領域上。
後來他中間離開五年跑到特斯拉，最近一次回到 OpenAI 主要建立了一個團隊，來改進 ChatGPT 上的 GPT-4。
- Tesla （2017-2023）
Karpathy 在特斯拉期間擔任 AI、Autopilot Vision 團隊總監。這主要負責內部數據標記、神經網路訓練等，他幾乎為往後特斯拉 FSD 奠定下重要基礎。這時他不僅會直接向馬斯克彙報之外，也需要和主導特斯拉的 Autopilot 硬體部門的 Jim Keller 密切合作。
時間快轉到現在，離開特斯拉、OpenAI 的 Karpathy 在做什麼？
有些評論會半開玩笑地說，Andrej Karpathy 實際上真正想當一名 YouTuber。他的頻道有超過 56 萬人訂閱，每支影片幾乎都會用超過一小時在介紹大型語言模型是什麼，也會教大家可以如何透過 AI 模型實作等內容。
他也表示，「我對教育很有熱情，喜歡教會別人事情」這讓他在離開 OpenAI 後，打造了一間教育新創 Eureka Labs。
離開 OpenAI 後，為什麼決定投身教育新創？
接著，想要來聊 Karpathy 對 AI 時代下決定投身教育的看法。
他在離開 OpenAI 和特斯拉後，把重心都放在一家以 AI 為核心的教育平台 Eureka Labs。
Eureka Labs 希望透過 AI 革新學習方式，想讓人人在學習新領域中擁有更理想的體驗。Karpathy 的目標是在之中建立一個完整的課程，讓 Eureka Labs 成為人們學習 AI 時的首選，相關課程他還在規劃中，目前只有 LLM101n 這堂課的大綱，這門課主要教學生建立自己的大型語言模型。
如同他們在官網寫道：「以物理學來說，可以想像與費曼一起學習各種與物理學相關的課程內容，他會指導你完成每一步。」
過去要打造理想的學習體驗，受限於語言、對主題熟悉且有耐心的老師等因素，這些資源都是稀缺的，無法規模化服務更多人。但 Karpathy 認為，「隨著生成式 AI 的最新進展，這種學習體驗感覺很容易做到。」
讓他對教育這領域這麼有熱情，或是願意花幾小時拍各種關於 LLM 等教學內容，有幾個原因：
- 對賦權人們更感興趣：「我覺得現在很多 AI 都是在嘗試取代人類，導致很多人失業，但我更感興趣的是那些能夠增強人類能力的技術。整體而言，我站在人類這一邊，希望AI 能幫助人類變得更強大，而不是被邊緣化。」
- 透過 AI 來做到可以教育規模化：Karpathy 提到，他之前在史丹佛的深度學習課程，修課的學生很多，而且陸續幾年內都是爆滿的。現在對他的挑戰是如何將這種課程規模化，覆蓋全球 80 億人，而且是在不同能力、不同語言等的情況下。
那 Karpathy 要如何運用 AI，來解決教育規模化的問題？AI 和真人老師在之中扮演的角色是什麼？
