Anthropic：集結 OpenAI 前員工，打造更安全的 AI

Hi 我是 VK~

這期我們來聊聊美國 AI 新創 Anthropic 的故事。他們當時為什麼會想要離開 OpenAI，決定出來創業？為什麼這麼在意 AI 安全性？

喜歡這期的內容，歡迎分享給朋友一起訂閱《VK 科技閱讀時間》，祝你今天一切順利~

如果你平常有在用聊天機器人 Claude 翻譯或分析長篇文件等，可能會知道 Anthropic 這家公司。

2021 年成立的 Anthropic 不僅是一家專注在開發 AI 基礎模型的新創，也高度關注 AI 安全，更是集結了一群 OpenAI 前員工。

與其他 AI 新創不同之處，Anthropic 非常強調 AI 安全性。他們一直將資源用在「可操縱、可解釋和強大的大規模人工智慧系統」。

矽谷八叛徒（Traitorous eight）的歷史不斷重複上演。

Anthropic 的成立與 OpenAI 的組織轉變有關。現任 Anthropic 執行長 Dario Amodei 是 OpenAI 前研究副總裁、總裁 Daniela Amodei 是 OpenAI 的安全與政策副總裁（他們是兄妹）。

他們離開時也帶走了 14 位 OpenAI 研究人員，包括 OpenAI 前政策負責人 Jack Clark、OpenAI 前研究員 Jared Kaplan 等。這些人都曾參與打造大型語言模型 GPT-3。

最終，他們在 2020 年底離開 OpenAI、隔年創了 Anthropic。

這期會介紹：

• 為什麼要離開 OpenAI、成立 Anthropic？

• 雖然旗下的 Claude 比 ChatGPT 更早做完，但為什麼它們遲遲不發？

• Anthropic 在成立之後遇到的難題？

• Anthropic 真的足夠安全嗎？

為什麼離開 OpenAI、成立 Anthropic？

是什麼原因，讓他們決定離開 OpenAI、創了 Anthropic？

不論是 Anthropic 的成立，或是眾多 OpenAI 前員工離職、創業，這些事情的導火線都與 OpenAI 從原本的主打開源的非營利組織，轉為有限獲利（Capped Profit）的組織結構有關。

簡單來說，OpenAI 從原先的 Open 走向了 Close，也從原先為專注在為每個人創造價值，轉為獲取更多價值。

時間倒回 2015 年，OpenAI 作為一家非營利組織，他們在官方部落格中是這樣介紹：

作為一家非營利組織，我們的目標是為每個人而不是股東創造價值。我們將強烈鼓勵研究人員發表他們的工作，無論是論文、部落格文章還是程式，我們的專利（如果有的話）將與世界分享。

但隨著 OpenAI 越專注在發展「通用人工智慧」 （AGI），這是他們的使命。當研究量能越多的同時，也面臨了一個瓶頸：算力。必須要有足夠的資源支撐它們的算力，但身為拿早期投資者錢的非營利組織，他們能獲得的資源還是算有限。

要再做更多 AGI 等研究，需要更多算力，來提升模型的表現，考慮商業化的可能性也成為首要之務。

需要更多算力、需要更多資本，這想法也能在 OpenAI 前研究員 Kaplan 和 OpenAI 團隊的一篇論文中找到印證。2020 年 1 月，他們發表了《神經語言模型的規模定律》（Scaling Laws For Neural Language Models），這開啟了「規模就是你所需要的一切」的時代，運算、規模的重要性成為 OpenAI 模型發展的核心。

2019 年，對 OpenAI 是關鍵的一年，也是正式走向商業化的一途。

• OpenAI LP 成立

2019 年的 3 月，OpenAI 宣佈成立 「有限獲利」的營利企業 OpenAI LP。他們想透過這方式兼顧基本使命、財務激勵來吸引投資者，同時也如同字面上意思投資者的獲利是有限的，任何額外的回報都會回捐給 OpenAI Nonprofit。

以目前第一輪的投資者回報上限為 100 倍，接下來幾輪的投資者回報率會更低。舉例來說，當投資 1000 萬美元，要產生了 10 億美元的回報後，「有限獲利」這件事才會發生作用。

• Microsoft 投資 OpenAI 10 億美元

在 2019 年 7 月，Microsoft 不僅成為 OpenAI 的合作夥伴，更投了 10 億美元（這相當於回報要達到 1 兆美元，有限獲利才會發生）。

作為合作夥伴，OpenAI 同意在 Microsoft 雲端運算服務 Azure 中運行自家服務。有趣的是，雙方在建立合作關係後，雲端運算服務的用量開始攀升，從 2017 年花費的 790 萬美元，到 2019-2020 年達到了 1.2 億美元。

隨著和 Microsoft 建立合作伙伴後， OpenAI 擁有更多資源後，也代表著在發展上必須更加商業化、企業化。

這件事成為了內部的導火線，不少人開始擔憂未來 OpenAI 可能壟斷 AI 領域。Amodei 兄妹等人因為擔憂 AI 安全性的問題，離開了 OpenAI、成立 Anthropic。

比 ChatGPT 先做好的 Claude，為什麼更晚發？

Anthropic 執行長 Dario Amodei 提到離開 OpenAI 的原因：

「在 OpenAI 內部，有一群人在打造 GPT-2 和 GPT-3 之後，對兩件事有一種非常強烈的專注信念。

第一個想法是，如果你在這些模型中投入更多的計算，它們會變得越來越好，而且幾乎沒有盡頭。我認為這現在被更廣泛地接受。但是，你知道，我認為我們是最早相信這件事的人之一。

第二個想法是，除了擴大模型規模之外，你還需要一些東西，即對齊或安全。你不會僅僅透過向模型中注入更多的計算，來告訴模型它們的值是什麼。所以有一群人相信這兩個想法。我們真的很信任彼此，並希望一起工作。因此，我們帶著這個想法創辦了自己的公司（Anthropic）。」

2022 年 11 月 ChatGPT 發佈前的半年多前，Anthropic 實際上已經建立了 Claude 的第一個版本，只是這個版本從來沒有公開發佈。

除了 Anthropic 的內部員工擔心可能會被濫用之外，他們對於安全性的擔憂也越來越高、也不斷發現可能讓 Claude 變得危險的新方法，像是錯誤資訊、偏見和數據隱私等。這推遲了可以更早發布 Claude 的時間。

與此同時， Dario Amodei 在 Podcast 節目中分享，當時也有人告訴他們盡快推出，這會有很大的商業潛力，但他們也擔心發布後會加速 AI 領域的發展，這速度難以預期。

在 ChatGPT 推出的幾個月後，他們才正式推出 Claude 2。

這背後也迫於如果他無法阻止 OpenAI 的 ChatGPT 等，那麼 Anthropic 能做的就是加入這場戰局。