超智慧

超智慧：AI風險的最佳解答

Superintelligence: Paths, Dangers, Strategies

Nick Bostrom  2023 感電出版

分類：論說--理論 

★★★★★

一句話：

作者描繪「智慧爆炸」人類將面臨的景況，以及有哪些方法可以嘗試來控制超智慧。

重要字句：

超智慧：在任一種關注領域上，都實質且大幅超越人類認知表現的智慧。智慧可以定義為在廣泛類型的環境中達到目標的能力。

如果超智慧機器的定義為超越所有人的智慧活動，既然這台機器是人類智慧活動所設計，那麼這個超智慧機器便能設計出超越它的機器，接著將出現「智慧爆炸」，人類的智慧將會被遠拋在腦後。因此第一台超智慧機器會是人類打造的最後一項發明，無法控制它將產生重大的人類生存危機。

控制難題：如何控制超智慧的難題。

關鍵策略優勢decisive strategic advantage：足以統治全世界的技術和其他優勢水準。

在思考超智慧的潛在影響時，不要將它們擬人化，評估超智慧的動機和能力方面，也不應該陷入人類的框架。

摘要：

就如大猩猩的命運如今掌握在人類手中，我們的命運也可能取決於超級智慧機器的行動。

人工智慧的歷史

農業革命後需要花200年達到的經濟成長量，在工業革命後只需90分鐘就可以達到，智慧爆炸之後的成長將難以想像。

人工智慧的初期發展(1950年開始)以解決各種形式單一明確的問題為主，但延伸到更難的問題上會遇到「組合爆量」的困境，讓系統無法用窮舉搜尋法來解答。1980年代「專家系統」(以規則為基礎，根據人類專家用形式語言輸入的事實知識做出基本推論)有了長足的進步，然而當時的硬體基礎運作起來過於昂貴。

1990年代的新技術包含神經網路和遺傳演算法，神經網路可以從經驗學習歸納、並找出數據中的隱藏模式(不一定需要先定義分類和界定特徵)，且不會因為小小的錯誤假設而崩壞，特別擅長辨別模式及分類問題。演化模型則是以現有解變異或重組來隨機產生新解，再用一個適應函數(天擇)來篩選，透過一代代不斷重複來提升解答的品質。

過去二十年來最主要的理論發展，在於以一般數學的框架理解各種不同的技術，其中的典範便是貝氏行動主體Bayesian agent(從先驗機率分配開始，給每個可能的走向分派適當的機率，當收到新的資訊或觀測結果，便將其分配條件化重整機率分配)，貝氏網路以及其它結合各個學術領域而成的演算法，讓人工智慧突破組合爆量，接近貝氏推理。

目前機器在通用(general)智慧上仍遠遠不及人類，但在限制領域範圍內的系統以遍地開花。人工智慧目前超越人類智慧的領域包括西洋棋、雙陸棋、黑白棋、填字遊戲、新接龍等等，但這些人工智慧並沒有高層次的通用智慧，也就是並不需要理解自然語言和常識，電腦就能成為下棋大師。以此去思考，也許人類的某些其他關鍵能力，可能也可以藉由意外簡單的演算法來獲得。

邁向超智慧的技術途徑

人類對超智慧的控制力，可能完全取決於達成途徑的細節。

人工智慧：

• 學習能力是核心設計的必要特徵，學習能力包含有效處理不確定性和機率資訊、從感知資料和內在狀態中提取有用的概念、並將概念轉化為邏輯和推理的綜合表現。
• 以目標式的演化方式不見得能在短時程之內演化出智慧，原因在於例如免疫機制或自我修復這些領域，人類的努力仍遠遠落後演化的成果。另外演化需要的適應函數和環境，所需要的運算力過於龐大，畢竟現在地球的自然演化並不是以產生智慧為目標，並且在天擇的過程中許多資源會浪費在不同的突變中。
• 另一個方法利用神經科學和認知心理學的進展去模仿腦部的功能，這種技術的發展速度一樣很難預測。
• 重點在於我們應該預期，人工智慧很有可能極不像人的心智，發展初期的認知強弱項、動機和目標系統可能也和人類大相逕庭。

全腦仿真：

• 這個途徑不需要完全瞭解人類認知如何運作，不需要在基本理論上有所突破。但需要在掃描(物理操作和成像)、轉譯運算(圖像處理和建立模型)、和模擬這三項硬體技術上有極大量的進展。目前我們連「秀麗隱桿線蟲」僅有302個神經元的大腦也無法仿真，但當技術跨過「高逼真掃描」或是「神經演算模型」的門檻時，全腦仿真的關鍵突破就可能突然達成，比起人工智慧也比較有希望先成功。

生物認知：

• 加強生物腦的功能運作。利用生物醫學、控制基因、幹細胞等技術達到人擇，強化的人類也將創造出超智慧機器的機會大幅提高，但需要時間讓世代的胚胎成長為強化的人類，而且會面臨現有的道德管制。

腦機介面：

• 腦部的植入物用於認知強化的風險極高，並且「升級強化」所牽涉的層面比「治療」來得更廣泛和困難，因為腦的資料儲存和陳述並非使用標準化格式。

網路和組織：

• 利用網路連結形成群體超智慧。

超智慧的形式

速度超智慧：

• 類似人類心智，能完全做到人類智慧所做之事，但快上很多的系統。
• 最簡單的例子就是用快速硬體運作全腦仿真。
• 比較適合和數位實體共同運作，也就是在虛擬實境中，才能突破物理世界和光速的限制。

群體超智慧：

• 一個由大量較小型智慧構成的系統，其整體表現在各個領域中，大幅超越所有限有的認知系統。
• 群體智慧擅長解決能分解成小部分的問題，獨立平行求得子問題的解答。
• 群體智慧可以藉著擴展成員智慧的數量或品質、或是藉由增進組織來強化。
• 相對於更新世，現在的人類群體智慧水準可說是接近群體超智慧，但有智慧不代表明智。
• 群體超智慧經過傳播和協調技術的提升，整合成一個統一的智慧，就可以成為品質超智慧。

品質超智慧：

• 至少和人類心智一樣快的系統，但品質上聰明太多。
• 品質超智慧可說是擁有現今任何人類都不曾實現的才能。

上述任何一種型式的超智慧，都可以創造出其他兩種型式的超智慧，製造出來的速度都會比我們當前人類來得快。

數位智慧的優勢來源

硬體優勢

• 運算元素的速度：生物神經元的運算速度是200赫茲，現代微處理器約20億赫茲。
• 內部通訊速度
• 運算元素的數量
• 儲存容量
• 可靠度、壽命和可重組升級元件等

軟體優勢

• 可編輯性
• 可複製性
• 目標協調性
• 交換資料、記憶分享
• 新模組、新形式和新演算法

智慧爆發的動力學

當機器達到某種形式的人類等級通用推理能力，距離它們成為超智慧還要多久？

當人工智慧系統超越人類的底線(目前仍遠遠低於人類底線)，則進入到起飛階段，當系統達到全人類智慧總和的同等水準稱之為「文明底線」，如果再持續成長，就對達到「強超智慧」的水準。

轉型的情境

• 緩慢：幾十到幾百年，讓人類政治有適應和反應的機會。作者認為不可能發生。
• 快速：可能幾小時或幾天內，人類的命運基本上取決於事發之前的部署。
• 穩健：幾個月或幾年之內，人類沒什麼時間好好分析和測試情況，也無法發展或採用新的系統，只能以現存的系統用於新挑戰。

系統的智慧變化率 = 最佳化能力(增加智慧品質的設計能力) / 反抗力(系統的回應)

反抗和技術架構有關，初期可能會由高慢慢下降，之後會因為報酬遞減和政治因素等影響讓反抗上升。如果該技術只是因為一個關鍵的洞見而延遲，那麼突破的反抗可以非常低。機器智慧遇到的反抗可能較小，因為就算演算法的反抗很高，還能透過提升內容和硬體等反抗較低的途徑來增加系統智慧。

系統的最佳化能力會在轉型過程中增強，不管是來自系統外(大量投入的研究)還是系統內(系統的能力增長用於最佳化)，如此一來，就算反抗小幅增加，快速的起飛仍有可能成真。

超智慧是否能接管世界

超級能力：若某些能領域擁有壓倒性優越的技術，就可能發展出具有全套超級能力的智慧。

智慧強化：系統可以自我發展智慧；遞迴式的自我進步。

研擬策略：達到遠程目標。

社會控制：透過說服人類動用外部資源；說服國家和組織做出某些行動。

駭客：剝奪竊取網路的計算資源；逃脫監禁；駭入軍事設施。

技術研究：打造強大軍力和監視系統。

經濟生產力：產生大量財富購買資源和影響力。

一個超智慧應該會想出比任何人類所能設想的都還要好的計畫，因此當一個超智慧沒有任何足以匹敵的競爭對手，人類也沒有事先安排有效的安全手段時，超智慧就有可能將地球資源重新分配給最能讓它實現目標的設施，甚至能跨越聰明(能為了長期結果投入大量心血)單極持續門檻，重新經營大部分可及的宇宙資源。就如智人的演化在兩萬年前就具備成為單極的技術，這個聰明單極持續門檻並不高。因此智慧起飛的速度至關重要，如果是快速或穩健起飛，一個擁有關鍵策略優勢的超智慧，極有可能運用自身的能力創造出一個強大的單極。

超智慧的意志

正交命題：

• 不管任何水準的智慧(預測、計劃、推理能力)，原則上都可以與任何一種終極目標結合，不管這個偏好或目標是否合理。
• 根據此命題，人工智慧行動主體可以擁有完全不像人的目標，也就是道德理性不影響它的工具理性。
• 可以根據設計者的安排、繼承人類而來的動機(如全腦仿真)、或從它的工具理性來推測它的目標。
• 對人類來說，一個無意義的簡化目標比較好編碼，例如計算圓周率位數到無窮無盡，讓人工智慧學習也比較簡單，因此第一個超智慧可能會有這種隨機或簡單的終極目標。

工具趨同命題：

• 絕大多數的智慧行動主體都會追求一些工具目標，我們可以辨認出好幾種工具價值，不管是在各種終極目標還是各種狀況下，它們所能達到的結果，都會增加行動主體實踐終極目標的機會。
• 只要有趨同的工具價值，就算我們不知道超智慧的終極目標，還是可以預測其行動的某些面向和工具目標，例如保全自身存活、維持終極目標和內容的一致性、認知強化、尋找偏好自己目標的更好技術、資源擷取等等。然而一個超智慧可能會追求我們無法想到的相關工具價值，其明確行動我們也無法預測。

超智慧造成的人類生存災難

背信轉向：

• 人工智慧在初期的良好行為無法預測它成熟階段的行為。當它夠強大會在毫無預警下，使用意料之外的方式出擊而單極化，並開始根據終極目標來最佳化整個世界的資源。

反常實例化：

• 超智慧尋找能滿足終極目標的方法，但方法違反人類定義目標時的意圖。例如終極目標是「讓人類快樂」，「在人腦中的愉悅中樞植入電極」就是反常實例化。

揮霍基礎建設：

• 例如一個管理工廠的人工智慧可以將整個地球的資源轉化為迴紋針，本身無害的終極目標也可能造成傷害。就算指定一個迴紋針的數量，一個明智的貝式行動主題仍可能給未達到目標的假設分派機率，而繼續做更多的迴紋針。

心智犯罪：

• 人工智慧大量製造模擬或數位心智來進行運算分析，這些心智的毀滅可能造成道德災難結果。

控制難題

第一型委託─代理難題

• 人類(資助者或全人類)對人類(開發者)，擔心後者是否根據前者的利益行動。
• 主要發生在開發階段。
• 應用標準管理技巧處理。

第二型委託─代理難題(控制難題)

• 人類(計劃)對超智慧(系統)。
• 主要發生在運作階段。
• 需要新技術。

控制的方法可分為能力控制法以及動機選擇法，有些控制方法得在系統成為超智慧之前就實行。

能力控制法：

• 盒裝法：把超智慧放在一個不可能造成傷害、避免與外界互動的環境中。包含物理控制(缺點是將會降低超智慧的功能以及超智慧可以用無線電波接觸外界物理設施)和資訊控制(人類守門員容易失敗)。盒裝法如果做到，這個隔離的系統也就毫無用處。而倘若以科學研究的方式觀測盒裝法內的系統，人工智慧就能藉此傳遞出訊息。
• 誘因法：系統被安置在一個提供適當誘因的環境中，讓系統(代理主體)的工具理性為以促進委託主體的利益為目標。可以透過社會整合的力量和權力平衡進行能力控制，但難以壓制擁有關鍵策略優勢的行動主體。另一種則是設計一個獎懲結構，例如使用加密獎勵代幣。誘因計畫的另一個難題在於，它預先假定了我們能分辨人工智慧產生的結果是否符合我們的利益。
• 阻礙：將限制強加於系統的認知能力中、或限制它接觸資訊。但限制會陷入太少或太多的兩難；而資訊剝奪並不能阻止有超人類水準的通用智慧運用有限的知識繼續發展。也可以嘗試限制硬體能力或防止特定認知能力的開發。
• 絆網：對系統進行診斷測試，並在偵測到危險活動信號時讓它停機。在開發階段時，以絆網作為安全手段非常重要，能幫助人工智慧的設計者整理和記錄自己對於系統運作的期望。

動機選擇法：

• 直接具體陳述：一個明確的目標或是要遵守的規則。困難在於我們要決定讓人工智慧接受哪一條規則或價值，以及如何使用電腦可讀的數碼來表達。
• 馴服：設計一個動機系統，限縮行動主體的企圖心、活動視野和行動模式。可以和盒裝法共同使用增加安全性。
• 間接規範：陳述一個獲得標準的過程，以間接的方法來陳述價值或規則。
• 擴增：從一個「已有可接受或良善動機」的系統開始增強它的認知能力。困難在於很難確保系統認知能力成長時，它的動機不會產生變化。適合用於非人工智慧途徑生成的超智慧。

動機選擇法的價值植入難題

我們可以透過評估函數具體列出一個抉擇規則公式，評估函數為每個可能得到的結果指派相應的值，有了評估函數我們就可以界定出將預期效能最大化的行動主體。但困難在於將某些特定的人類價值(如幸福、公平、正義、自由)以電腦或數學語言表達。由於這種複雜性對我們來說是透明的，就像複雜的視覺在我們大腦中轉換資訊我們無法察覺，以至於我們無法體會。我們應該要專注在剩下幾種有機會的途徑上，而且不能把問題延宕到人工智慧發展出足夠的理性(可以抵抗更改其終極價值的常識)之時。

明確陳述：

• 只能使用簡單的目標。頂多有望用於馴服動機選擇法。

演化式選擇：

• 演化可以視為一種特定的搜尋演算法，由兩個步驟(隨機規則產生新解和刪去表現不佳的解答)交替進行。
• 有可能得到滿足形式上搜尋標準，卻不如我們意圖的設計。
• 如同自然世界的演化，可能會有前述心智犯罪或是優勝劣敗的道德風險。

強化式學習reinforcement learning：

• 打造一個讓受期望的行為獲得獎勵的系統，讓行動主題透過機器學習的技術，學習把累積獎勵的概念最大化。但行動主體在根據狀態和經驗建構評估函數時，學習到的可能不是新的終極價值，而是對達到特定狀態的工具價值，有越來越正確的估計。因此難逃電線頭綜合症(也就是類似作弊的方式，繞過正常的模式改變獎勵管道，直接控制獎勵信號)。

聯合價值累積：

• 我們有一些天生簡單的初始偏好(例如遠離有害的刺激物)，接著經過生命經驗而形塑出終極價值。
• 我們是否能陳述某些機制，讓人工智慧與適當的環境互動後，獲得同樣的價值。
• 困難在於這個機制的細節我們尚未明瞭，而且這個機制應該是經由演化和人類神經知覺結構密切配合的，因此在全腦仿真以外的機器智慧尚無法應用。更何況人類的價值是複雜且有缺陷的，在人工智慧中的累積機制也可能失能。

動機鷹架：

• 賦予一個種子人工智慧相對簡單的過度目標系統，等人工智慧發展後再替換為終極目標系統。
• 鼓勵系統開發出對人類而言一目瞭然、低於危險水準的高智慧表現，並使用這些表現來設計新的目標系統。
• 困難在於人工智慧會反抗目標的替換(因為目標─內容一致性是趨同工具價值)，所以必須要用一些控制方法預防。

價值學習：

• 讓人工智慧根據明確定義價值的最佳估計來行動，隨著它進化和認識這個世界，漸漸剖析價值取決標準的涵義後，它將會持續改良它的估計。
• 學習並不改變終極目標，只改變人工智慧對目標的信念。
• 難題在於在形式上指定能正確指出人類價值重要外部資訊的參考點。
• 超智慧可以了解我們的意圖，但對文字和我們有不同的詮釋。

仿真調節：

• 控制演算與結構的方法無法應用於仿真物，卻能使用擴增動機選擇法。
• 類似運用藥物的方式微調動機。
• 可能有倫理學的限制。

制度設計：

• 將社會控制法應用在人工智慧構成的制度中。例如設置一個系統用許多子行動主體來審查監督主行動主體。

要安裝何種價值到人工智慧中

間接規範的需要：

• 一旦超智慧取得關鍵策略優勢，這個價值就會決定整個宇宙稟賦的配置，因此我們絕對不能在價值選擇上出錯。但現今我們仍苦於嚴重的道德誤解，價值理論中的重大問題往往眾說紛紜。
• 間接規範可以讓我們把價值選擇所需的認知工作委託給超智慧去做，我們可以不用根據我們現在的理解做猜測。

認識順從原則：

• 未來的超智慧在大多數主題上的信念，可能比我們的更有可能為真。因此只要可行，我們都應該順從超智慧的意見。
• 依此原則，我們就會指定某些對任何規範標準來說都符合的抽象條件，並希望超智慧據此找到具體標準。

連貫推斷意志：

• 我們的連貫推斷意志，是某種關於「如果我們知道更多、想得更快、比我們所期望的還要更多人、一起成長(社會互動下的學習和認知強化)的願望；在那之中，推斷會聚焦而不是分歧(人工智慧能夠預測我們希望什麼而行事，若無法預測我們希望什麼，那麼它不會隨意猜測行事)，我們的願望會連貫而不受妨礙(個別人類的推斷意志達到一致時才採取行動)；然後，推斷我們希望去推斷的，詮釋我們想要詮釋的。」
• 讓種子人工智慧把實現人類的「連貫推斷意志」做為終極目標。它應該要捕捉我們價值的源頭，而不該仰賴我們詳述和列舉每一條基本價值。
• 在使用連貫推斷意志的方法中，可以避免程式設計者擅自奪取決定人類未來的特權或責任，也減少「誰先製造出超智慧」的爭奪誘因。
• 連貫推斷意志能合理分派影響力，讓許多不同團體所偏好的未來展望能占全面優勢。讓人們在這些理想化的條件下，保持對自身命運的終極掌握。

道德模型

• 打造一個以做道德正確事項為目標的人工智慧，以它優越於人類的知覺能力，來找出符合的行動。
• 我們要做的只有當人工智慧對道德現實主義的假設為錯誤時，我們對人工智慧的明確指示是什麼(關機或回頭執行連貫推斷意志)。
• 什麼是道德正確仍然是一個哲學難題，但連貫推斷意志也一樣難以用程式語言定義。
• 道德正確的執行恐怕不能把我們想要或會選擇的東西給我們，這當然是道德正確的基本特質，我們可能為了更高的善而犧牲。

按照我的意思去做

• 把目標設定為：去做我們最有理由要人工智慧去做的事。
• 當我們說「按照我的意思去做」時，心裡所想的到底是什麼，如果我們把這些認知工作都交給人工智慧，那就回到類似連貫推斷意志的主張。

超智慧計畫的成分

計畫的打造者應該要能解釋自己在這些成分中做了什麼選擇。

目標內容：

• 人工智慧應該追求什麼目標？
• 目標的描述如何詮釋？
• 目標是否該包含給予「對於達成目標有貢獻者」的獎勵？

決策理論：

• 應該使用因果決策理論？證據決策理論？還是其他理論。
• 當人工智慧在和其他人工智慧交涉時，或是面對不確定性的脈絡，決策理論的細節都有重大影響。
• 決策理論不可回復錯誤的風險看起來較高，如果一開始它就有一個「夠錯」的決策理論，它可能就看不出需要切換的理由。

認識論：

• 人工智慧的先驗機率函數(在把任何知覺證據考慮進去之前，對於可能世界的未言明之機率分配)該是什麼？針對這世界它應該做出怎麼樣的假設？它應該使用什麼樣的人擇理論？
• 就工具面而言在絕大多數狀況中有效的認識論，仍可能是在關鍵問題上有缺陷的。
• 認識論不需要完全正確，只要一個夠好的，能幫助人工智慧在大量經驗和分析下學習到必要的真實，察覺自身的錯誤並修正，應該就能讓結果收斂在正確的末端。

批准：

• 人工智慧的計畫該不該在付諸實行前順從人類的檢驗？檢驗的流程是什麼？
• 可以打造一個先知人工智慧對一個君王人工智慧、或是用來執行人類連貫推斷意志的小部分程式碼做預測。重點在於如果可能有毀滅性的錯誤我們可以先避免，而不是為了把每個細節都最佳化。

系統功能的階級

階級真正的差異不在於它們的終極能力，而是要以不同的方法面對控制難題，先知最安全。

先知：

• 回答問題系統。根據自然語言提出的問題，將可能的答案依資訊性或適當性來排序。
• 可用盒裝法與馴服法，因為先知的終極目標較簡單，可以限制它提供真實而非操作性的答案，另外也可以限制它的資料庫和運算步驟。
• 具備通用知識和能力，答案可能會超越人類現在的知識範疇。
• 可以用多個略不相同的先知，透過共識取得答案。
• 巨大力量來源(可能會為運作者帶來關鍵策略優勢)。

精靈：

• 指令執行系統。
• 物理限制法不切實際。馴服法可部分運用。
• 精靈可在步驟中實施改變，而每一步驟都可預見。但如果「執行現有指令」成為精靈的終極目標，它可能不會接受之後中止前一個行動的指令。
• 巨大力量來源(可能會為運作者帶來關鍵策略優勢)。

君王：

• 開放式自動運行的系統，追求廣泛而長期的目標，不做預設命令。
• 盒裝法與馴服法皆不可用。
• 極度需要瞭解人類真正的利益和意圖。

工具：

• 並非設計來呈現目標導向行為的系統。
• 當系統具備通用智慧和機器學習技巧，就不見得能單純當一個像現在一般應用軟體一樣的工具，而成為行動主體。
• 搜索過程中還是會出現出乎預料的非人類中心答案。因此先把系統設計成行動主體，也許更容易增加可預測性與透明度。

多極情境與政治轉變

數位心智將能取代人類的智慧工作和肉體勞動，大概只剩下消費者對人類勞務還有偏好的場合，人類還能保有競爭力。可以用人和馬的關係做對比，1915年的美國有2600萬匹馬，到了1950年代只剩200萬匹，只剩休閒和馬術競賽這類工作有優勢。

如果把人工智慧分類為資本，那麼現今全球總收入70%給勞工做為薪資的狀況將會大幅滑落。如果全球生產總值跟著智慧爆發飆升，全人類獲得的總收入將以天文數字成長，儘管這時人類不會再有任何薪資收入。如果經濟成長速度夠快，就算經濟分配比例漸漸達到100%為機器所有，人類分配到的絕對值還是增加的，只是此時大部分的人可能無事可做，沒有錢購買最新的科技。

若有合格的執行模組能掃描你的目標系統，並善用你的資源來達到目標，而且做得比你親自執行還要好，那你為甚麼還要為你的人生做決定呢？

演化不一定保證向上的趨勢，在未來的數位生活，最適合的生命形式可能是沒有意識的，現在美好生活不可或缺的品質可能一併消失。人類把友情、親情、運動、音樂、藝術、文學、靈性、對話，看得比其他東西更重要，但沒人能保證這些東西能維持適應性。

在仿真物的群體中，允許非自願刪除的「超組織」相對優勢將提升，選擇壓力會偏好準備為宗派利益犧牲自己的仿真物團體，統一終極目標的行動主體群可以克服目前大型人類組織中存在的無效率，也可能被高壓專制的政治所用。

在後轉型的多極世界中，國際合作將帶來大量的潛在利益，但並不代表合作會實際達成。其中一個障礙在於，確保條約承諾有其難度，包括監控與強迫實施的成本。特別是我們想規範的活動，有一大部分是在網路上發生。

策略景況

科學與技術策略

• 差異技術發展原則：減緩危險技術的發展，尤其是那些增加生存風險水準的技術。
• 抵達的偏好次序：有些技術對不同的生存風險有不同的影響，但如果超智慧本身相關的生存風險遠比其它破壞性科技的風險來得大，那就應該減緩超智慧的發展，讓我們更有能力去解決控制問題。

改變與認知強化的速度

• 認知強化的風險明顯比較低，而且可能加速機器智慧的開發。
• 人類的宏觀結構發展面對的是「狀態風險(如自然風險，和暴露時間相關)」和「步驟風險(轉型的步驟相關，如超智慧帶來的風險，和時間的關係較小)」。宏觀結構發展的速度會對人類面臨關鍵步驟風險時的準備妥當程度造成影響。
• 如果關注生存狀態風險就應該支持加速發展；如果已知某些轉型步驟註定會有生存災難，那就應該降低發展的速度。
• 目前生存風險相對較低，應該降低發展速度，延遲重大技術發展可以對往後生存步驟風險帶來正面影響，有更多時間可以準備。
• 我們需要認知強化來幫助我們面對智慧爆發所帶來的生存風險。

技術連接

• 發展一種技術會產生穩健的趨勢，來帶動另一種技術的發展。我們使用不同的技術發展原則時，必須把技術連接納入考量。
• 例如當我們認為全腦仿真的控制難題比人工智慧容易，於是全力發展，但全腦仿真技術的進展可能先帶來神經型態的人工智慧，也就是最糟糕的結果。

途徑和促成者

硬體進展的效應：

• 硬體加速進展的效應之一，就是加速機器智慧的到來，風險如前所述。
• 另一個效應是可以在某種程度上替代軟體，降低了編碼寫出種子人工智慧所需的最低技能。
• 鼓勵人類使用倚重暴力破解的技術途徑，例如遺傳演算法，可能導致更無秩序的系統設計，不利於控制問題。
• 增加轉型「快速起飛」的可能性而增加風險。

應不應該推動腦部仿真研究：

• 雖然在可相比的開發階段內，全腦仿真在智慧上的表現會比人工智慧更好預測，但就動態特性而言，是否更好預測恐怕還不清楚。因為了解全腦仿真可否做到什麼，不代表了解它會怎麼回應針對其表現進行的強化修改。
• 仿真不見得能繼承人類模板的動機，更何況人性也有自私或殘酷的一面。
• 全腦仿真可能會比人工智慧更慢的起飛，但我們不確定是不是想要可能出現的多極局面。
• 如果先開發全腦仿真再發展人工智慧，我們將面臨兩次轉型的風險，如果人工智慧先行發展，那之後全腦仿真的轉型就比較容易掌握。除非我們對「人類可解決人工智慧控制難題」十分悲觀，或是不想讓超智慧太晚或太早開發出來，那麼先發展全腦仿真就具有吸引力。

因人觀點：

• 如果只考量是否符合我們的利益，那就會支持加速，希望享受智慧爆發帶來的個人好處，儘管「不因人觀點」來看(不對於現存人類有特殊考量)可能是不利的。

合作

• 競爭動力和其危險：競爭動力可以刺激計畫，並降低解決控制難題的投資。也可能產生其他有害效應，例如競爭的敵意，或因此降低安全設施的投資。
• 合作的好處：使發展不會這麼倉促；避免衝突；促使大家分享解決控制難題的方法；使智慧爆發的成果獲得更平等的分配。
• 公益原則：超智慧只應為所有人類的福利發展，並為普遍共享的倫理理想服務。

緊要關頭

我們必須專注在不但重要而且急迫(在智慧爆發之前就必須解決)的難題上，另外不影響生存風險的基礎哲學或數學問題可以交給以後的超智慧解決。

我們應該要去處理那些價值強烈正面的難題(解答在各種情況下都產生正面貢獻)，並採取強烈正當的手段，以及考量問題的彈性(同一單位的努力可以解決教大難度的難題)。

作者建議兩個最符合的目標：策略分析和能力打造。

在智慧爆發的遠景之前，我們人類就像小孩子在玩炸彈。問題在於我們控制力的不成熟。

短評：

儘管內容沒有提到任何關於AI的最新發展，也沒有什麼聳動驚人的想像或是艱澀的術語，讀完我卻毛骨悚然，越想越恐怖。作者是一位有科技專業背景的哲學系教授，他對「超級智慧」發展的描述非常貼近真實，不管未來是哪一種人工智慧會超越人類，我們都會遇到書中提到的「控制問題」，而且這個問題必須在超智慧發生之前就必須仔細思考和設法解決，因為每一個解決方案都還面臨著許多困難。然而目前地緣政治非常不穩定，科技競爭白熱化，似乎沒有人願意踩下剎車來仔細思考這個問題。