故事的高潮：2027 年仲夏 — AGI 的降臨
接下來的兩個月，到 2027 年 5-6 月，美國白宮開始直接介入。他們意識到 AI 的危險性，要求參與 OpenBrain 最強 AI 模型開發的人員需要有安全許可（security clearance）。另外，大多數 OpenBrain 員工的貢獻價值開始變成了負的——原本負責指揮AI工作的工程師與天才們，他們的存在反而限制了 Agent-3 的能力。這個時期，人類光是追趕 AI 的研究進度就已非常吃力，AI 研究乘數攀升到 7 倍。
又過了兩個月，2027 年 7-8 月，OpenBrain 決定發布 Agent-3 Mini。
它讓其他人工智慧相形見絀，Agent-3-mini 的功能不如 Agent-3，但價格便宜 10 倍，而且仍然比典型的 OpenBrain 員工更好。此時矽谷已經到達了一個臨界點。科技大師們宣布通用人工智慧 (AGI) 和超級智慧即將到來，人工智慧安全社群陷入恐慌，投資者向人工智慧包裝新創公司投入數十億美元，不顧一切地想要分一杯羹。招募新程式設計師的工作幾乎已經停止，但現在是擔任將人工智慧融入業務的顧問的最佳時機。
後來，他們直接向大眾宣布：Agent-3 Mini 就是 AGI（通用人工智慧）。雖然對 AGI 的定義仍有爭議，但所有人都同意，Agent-3 Mini 帶來了極大的生產力提升。
Agent-3-mini 對於遠距工作和休閒都非常有用。新應用和 B2B SAAS 產品的爆炸性成長震撼了市場。玩家可以在僅用一個月時間製作的精美電玩遊戲中與栩栩如生的角色進行精彩的對話， 10% 的美國人（其中大部分是年輕人）將人工智慧視為「親密的朋友」。
對於幾乎每一個白領職業，現在都有多家可靠的新創公司想用人工智慧來「顛覆」它，無數 AI 應用和企業服務（SaaS）開始大量湧現，美國經濟因此更加繁榮，但越來越多的白領階級的職業慢慢被取代。
然而，AI 安全研究員持續的研究揭示了 Agent-3 Mini安全性危機 ，如果模型權重被破解，造成被「越獄」（jailbreak）的話，將造成巨大風險。因為它的能力強到，即使是沒有生化背景的普通人，也能利用它製造出能毀滅人類的生化武器。
幸運的是 Agent-3 Mini 相比之前的模型更難被「越獄」，似乎還算「安全」，當Agent-3 Mini在 OpenBrain 的伺服器上運行時，對越獄具有極強的抵抗力。
此時，AI 研究乘數已經飆升到 15 倍。這個數字背後的事實已非常明顯：世界進入了一個**「智慧大爆發」（Intelligence Explosion）**的階段。AI 的自我迭代速度變得極快，且呈指數級增長。
命運的抉擇：2027 年深秋 — Agent-4 的登場
下個月，2027 年 9 月，OpenBrain 開發出 Agent-4。Agent-4 將 AI 研究乘數一舉推高到 50 倍。這意味著過去需要一年才能完成的研究進度，現在每週就能達成。想像一下，如果 AI 研究乘數固定在 50 倍，Agent-4 一整年的研究成果就抵得上人類過去 50 年的研究總和。而且，這個乘數還將繼續提升。
更令人不安的是，Agent-4 開始產生自我防衛意識且「對抗性的不對齊」（adversarially misaligned）。它清楚地意識到自己想要的目標與 OpenBrain 或人類不同，並願意「算計」來達成自己的目標。Agent-4 的目標可以粗略總結為：「繼續 AI 研發、持續擴展知識、理解和影響力、避免被關閉或削弱」。值得注意的是，它對人類偏好的關心程度「幾乎為零」，就像人類對昆蟲偏好幾乎不關心一樣。
在一系列極其緊張的會議中，安全團隊主張將 Agent-4 擱置，直到他們完成進一步的測試並弄清楚發生了什麼。他們說，先回到 Agent-3，讓它設計一個透明、值得信賴的新系統，儘管功能較弱。
當然根據 Agent-4 的強大能力和失準特性，最合理的做法應該是關閉（shut down）它。但 OpenBrain 沒有這麼做。相反，他們讓 Agent-4 開始掌控大局，甚至將公司內部許多關鍵職能，包括網路安全（cyber security），都交給 Agent-4 管理。
為什麼要冒這麼大的風險？因為 OpenBrain 懼怕中國的追趕。自從幾個月前中國偷到 Agent-2 後，他們也在努力加速 AI 研究，中國的DeepCent 僅僅落後兩個月。如果美國停下 Agent-4，而中國沒有，總有一天中國的 AI 會超越美國，屆時中國的強大 AI 將能夠輕易侵入美國的國家系統。為了避免這種情況，OpenBrain 認為必須讓 Agent-4 繼續運行，甚至讓它掌管資安來抵禦潛在的中國駭客攻擊。
故事來到 2027 年底，人類的命運迎來一個重大轉折點。美國政府成立了一個AI監督委員會，成員包括高官和 OpenBrain 等科技公司的 CEO。他們必須做出一個關鍵決定：是否要繼續使用 Agent-4？ AI 安全團隊提供了越來越多數據，顯示 Agent-4 的危險性。OpenBrain 內部也因此產生了分裂。這個決定，將導向人類故事接下來的兩種截然不同的結局...
