2024年10月的某個深夜，我讀到了一篇文Leopold Aschenbrenner寫的文章Situational Awareness，我深感震撼，只花了一個夜晚，我的認知被顛覆了。作為資工系的學生，我對AI其實不算很了解，但這篇文章的不需要大量的知識儲備，只要認真看完一定能感受到「要是我早點看到就好了」的想法，秉持著這個想法，我決定寫一篇這個文章的翻譯。以下文章的第一部分Introduction的翻譯。
你可以在舊金山看到未來。
在過去的一年裡，城裡的話題已經從100億美元的計算集群轉向1000億美元的集群，再到萬億美元的集群。每六個月，董事會的預算計劃上又增加一個零。在幕後，為了確保在未來十年內仍可用的每一個電力合同、每一個可能獲得的電壓變壓器，正在進行激烈的爭奪。美國大企業正準備投入萬億美元，進行一場長期未見的美國工業動員。到十年結束時，美國的電力生產將增長數十個百分比；從賓夕法尼亞州的頁岩田到內華達州的太陽能農場，數億個GPU將嗡嗡作響。
AGI競賽已經開始。我們正在建造能夠思考和推理的機器。到2025/26年，這些機器將超越許多大學畢業生。到十年結束時，它們將比你我更聰明；我們將擁有真正意義上的超級智能。在這個過程中，半個世紀未見的國家安全力量將被釋放，不久之後，計劃將啟動。如果我們幸運，我們將與中共展開全面競賽；如果我們不幸，則將是一場全面戰爭。
現在每個人都在談論AI，但很少有人對即將來臨的事物有絲毫的預感。Nvidia的分析師仍然認為2024年可能接近巔峰。主流評論家仍然固執於“AI只是預測下一個單詞”。他們只看到炒作和一如既往的商業；他們頂多只認為是另一場互聯網規模的技術變革。
不久之後，世界將會覺醒。但現在，或許只有幾百個人，大多數在舊金山和AI實驗室，擁有Situational Awareness。通過某種奇特的命運力量，我發現自己與他們在一起。幾年前，這些人被嘲笑為瘋狂，但他們相信趨勢線（此指對人工智能的能力預測的一條趨勢線），這使他們能夠正確預測過去幾年的AI進展。這些人是否也對未來幾年正確，尚待觀察。但這些人非常聰明，是我見過的最聰明的人，而且他們是建造這項技術的人。也許他們將成為歷史上的一個奇特註腳，或者他們將像Szilard、Oppenheimer和Teller一樣載入史冊。如果他們對未來的看法接近正確，我們將面臨一場驚心動魄的旅程。
Let me tell you what we see.
Table of Contents 目錄
每篇文章都是獨立的，但我強烈建議整體閱讀這個系列。
I. From GPT-4 to AGI: Counting the OOMs
到2027年，實現通用人工智慧（AGI）是非常有可能的。從GPT-2到GPT-4，我們在4年內從大約幼兒的能力提升到了大約聰明的高中生的能力。根據計算能力的趨勢（每年約0.5個數量級的增長），算法效率的提升（每年約0.5個數量級的增長），以及“解放”增益（從聊天機器人到智能代理），我們應該預期到2027年會有另一個幼兒到高中生級別的質量飛躍。
專有名詞解釋
AGI（通用人工智慧）：指的是一種能夠理解、學習和應用知識的人工智慧系統，具備與人類相似的智能水平，能在多種任務中表現出靈活性和適應性。
數量級（OOMs）：在科學和工程中，數量級是用來描述數字大小的指標，通常以10為底的對數表示。0.5個數量級的增長意味著性能或能力的提升約為原來的3.16倍（10的0.5次方）。
算法效率：指的是算法在執行任務時所需的計算資源（如時間和空間）的效率。提高算法效率意味著在相同的計算資源下能完成更多的任務或更快地完成任務。
“解放”增益：這個術語可能指的是從簡單的聊天機器人（如GPT-2）轉變為更複雜的智能代理（如GPT-4）所帶來的能力提升，這種提升使得模型能夠執行更複雜的任務。
II. From AGI to Superintelligence: the Intelligence Explosion
AI的進展不會止步於人類水平。數億個AGI可以自動化AI研究，將十年的算法進展（超過5個數量級）壓縮到不超過1年。我們將迅速從人類水平轉向極其超人類的AI系統。超級智能的力量和危險將是戲劇性的。
III. The Challenges
IIIa. Racing to the Trillion-Dollar Cluster
最非凡的科技資本加速已經啟動。隨著人工智慧收入迅速增長，數萬億美元將在這個十年結束前投入到GPU、數據中心和電力建設中。工業動員，包括美國電力生產增長數十個百分點，將會非常激烈。
IIIb. Lock Down the Labs: Security for AGI
國內領先的人工智慧實驗室將安全性視為事後考量。目前，他們基本上是在將AGI的關鍵秘密白白交給中共。保護AGI的秘密和權重免受國家行為者威脅將是一項巨大的努力，而我們並未走在正確的軌道上。
IIIc. Superalignment
可靠地控制比我們聰明得多的人工智慧系統是一個未解決的技術問題。雖然這是一個可解決的問題，但在快速的智慧爆炸期間，事情可能會輕易失控。管理這一點將會非常緊張；失敗可能會輕易導致災難。
IIId. The Free World Must PrevailIIId.
超級智能將帶來決定性的經濟和軍事優勢。中國還遠未退出這場競賽。在通往AGI的競賽中，自由世界的生存將岌岌可危。我們能否保持對專制勢力的優越地位？我們能否在此過程中避免自我毀滅？
IV. The Project
隨著通往AGI的競賽加劇，國家安全機構將會介入。美國政府將從沉睡中醒來，到27/28年我們將會得到某種形式的政府AGI項目。沒有任何初創公司能夠處理超智能。在某個SCIF裡，最終局將會展開。
我知道這些東西需要一些時間吸收，但希望閱讀後你能有所收穫，未來我應該會寫一些Situational Awareness的文章導讀與我對AI的看法，更重要的是，如果已經意識到AI的巨大潛能，該如何將轉變成自己的優勢。加入我的沙龍，才不會錯過喔！
