前言:一張地圖,在我們出發之前
2026年初,一場看似技術性的合約糾紛,卻成為了矽谷與美國政府之間最激烈的倫理與國家安全對撞。Anthropic拒絕了美國戰爭部的「全合法用途」條款,後果是被列為國家安全供應鏈風險;而幾乎同一時間,OpenAI以一份措辭精巧的替代合約填補了AI在國防供應鏈中的權力真空。這件事在科技新聞的版面上停留了幾天,然後像所有新聞事件一樣,被更新的事件覆蓋過去。
但我無法讓它只是一則新聞。
不是因為它牽涉商業利益,也不是因為它是地緣政治博弈的棋子。而是因為它觸及了我認為,在我們這個政治軍事衝突劇烈的年代,一個非常重要卻尚未被認真面對的問題:當AI不再只是戰場上的輔助工具,而是深度嵌入了從情報統合到目標識別、從戰術模擬到致死決策的每一個環節,「人類控制」這四個字,究竟還剩下多少實質的內容?這個問題,不是在問誰有權按下按鈕。它在問的是更根本的問題:坐在螢幕前的那個人,他的大腦,他的判斷力,他的道德感應能力,在長期的AI中介之下,這些東西還在嗎?
我選擇從人類的大腦出發,而不是從法律條文或技術規格出發。這個選擇本身就是一個立場,我需要先予以說明。
政策辯論中對AI軍事化的主流批評,多半圍繞著兩個軸線:第一,技術可靠性:AI系統的誤判率是否在可接受範圍?第二,法律責任:自主武器系統在國際人道主義與法律下的問責框架如何建立?這兩個問題都很重要,但是它們都共同預設了一件事:人類操作者是一個穩定的、理性的、隨時可以「接管」的主體。只要我們把技術做好、把法律寫清楚,人類就能有效地控制AI。
然而,認知心理學與神經科學的實證數據,卻對這個預設提出了嚴肅的挑戰。研究告訴我們,在AI中介的長期作業環境下,人類的認知結構本身會發生系統性的變化,包括執行功能退化、情境感知能力萎縮、對他人痛苦的神經反應鈍化。「人類控制」所依賴的那個心理基礎,其實是被侵蝕的,不是因為操作者的能力不足,而是因為人類大腦的設計邏輯,在遇到AI這種前所未有的情境刺激時,會以完全可以預測的方式走向失能。
這是本文的核心前提。它不是一個悲觀的道德宣判,而是一個需要被嚴肅對待的神經心理學事實。
在進入論證之前,有一個知識論的限制必須誠實地說明。本文所引用的認知心理學數據,多數來自受控實驗室情境或高擬真模擬環境,與真實戰場的複雜度之間存在著不可忽視的生態效度差距。此外,AI深度嵌入軍事決策的規模化部署,至今仍是一個相對新興的現象,橫向的縱向的長期研究數據都極為有限。因此,本文的論證可能面臨實徵研究支撐不足的問題。這些研究上的限制是需要事先提醒讀者的。
首先,讓我們從那場矽谷的倫理分裂開始,釐清它為什麼不只是一場商業談判,而是AI在戰場上從「工具」升格為「參與者」的歷史時刻,以及這個升格對「人類控制」意味著什麼。接著,我們進入Claude的紅線,討論Anthropic所堅持的那些硬性限制,為什麼它們不只是企業倫理的姿態,而是觸及了一個關於「誰來定義合法」的深度的法哲學問題。
有了這個技術與法理的背景,我們才能進入人類大腦本身。第三節我系統性地描繪人類在極端壓力下的認知圖像。這不是為了指出人類的弱點,而是為了論證,這些弱點本就攜帶著不可替代的道德功能。第四節則在這個基礎上追問人機之間的認知差異,核心問題不是「AI比人類更精確嗎」,而是「AI的速度如何從結構上剝奪了人類進行道德思考的可能性」。
第五節進入本文最沉重的地帶:數位屏障如何在神經層次上瓦解人類對生命的感應能力,讓致死行為在大腦的編碼中逐漸異化為一個數學問題。然後,第六節審視學界與技術界為了重建「人類控制」而提出的方案。這些審視的目的在於我們必須誠實地發問:這些方案,是否真正理解問題的所在?
最後,我們抵達第七節。在那裡,我們不再談技術,也不再談政策。我們只問一個問題:為什麼,在所有這些效率與精確的計算之後,那個坐在螢幕前的人,仍然必須留在那裡,不是作為系統的橡皮圖章,而是作為一個真正承擔後果的主體?
答案,藏在一百六十二秒的認知盲區裡。也藏在按下按鈕之後,那個不可化約的痛。
第一節 從工具到參與者
當AI成為戰場的認知引擎
要理解AI介入戰爭以後發生了什麼,我們必須先理解AI在現代戰場上究竟扮演了什麼角色。這不是一個技術細節的問題,而是一個議題框架問題。我們對於這個角色的理解有多清晰,決定了我們能否真正看見後續所有問題的根源所在。
三個層次,一個升格
AI在戰場上的功能,可以從三個層次來理解,而這三個層次之間的關係,正是問題的核心。
第一個層次是感知。在這個層次上,AI處理的是來自數千個感測器的異構數據,例如無人機的影像、衛星的訊號、地面偵聽設備的聲紋,並在毫秒之內將這些碎片整合為一幅動態的戰場圖譜。這是情報、監視與偵察(Intelligence, Surveillance and Reconnaissance,ISR)的融合工作,而其數據量與速度早已超出任何人類分析師的處理能力。在這個層次上,AI的角色相對容易被理解為「工具」:它是一台更快、更大的計算機,替人類做人類本來就在做的事。
第二個層次是判斷。在這個層次上,AI開始做一件不同性質的事:它不只整理數據,它評估數據。在2026年初的「Operation Epic Fury」行動中,Claude被用於對伊朗境內二十四個省份的軍事目標進行識別,生成複雜的「平民損害預估模型」,為指揮官提供每一個打擊目標的風險評分。在這個層次不再是計算,而是詮釋。它在回答的問題是:這個目標,值得打嗎?
第三個層次是行動。作為「智慧代理」(Agentic AI),AI能夠自主運行數萬次戰場模擬,預測敵方在OODA循環,觀察(Observe)、定向(Orient)、決定(Decide)、行動(Act)中的反應延遲,並提出最優化的攔截方案。它不再等待人類的提問,它主動產出建議,甚至在某些武器配置下,主動執行被授權範圍內的行動。
從感知到判斷到行動,這三個層次描繪的不是一個量的增加,而是一個質的升格。在第一個層次,AI是工具;到了第三個層次,AI則是參與者。而Claude在被撤離之前,已經深度嵌入美國中央司令部(CENTCOM)的核心作戰網路,透過Palantir的數據平台與AWS的機密雲端基礎設施,同時在三個層次上運作。它不是一個可以隨時關掉的外掛程式,它已經是一整個認知架構的神經中樞。
當感知層被欺騙
然而,在我們繼續深究之前,我們先來討論一個問題,因為它將在本文的所有討論中形成一道論述底層的陰影。
上述三個層次的運作,有一個共同的前提:感知層的數據是可信的。判斷層的評估,是建立在感知層提供的情報上;行動層的建議,則是建立在判斷層的詮釋上。整個架構是一條資訊的依存鏈,而這條資訊鏈的起點,是感測器所捕捉到的現實。
但如果這個起點被動了手腳呢?
對抗性攻擊(Adversarial Attacks)是資訊科學領域已有充分文獻討論的現象:透過在輸入數據中植入人類感知無法察覺、但足以誤導AI模型的細微擾動,攻擊者可以讓AI將一輛校車識別為導彈發射車,或讓一個平民聚集點的熱成像特徵符合武裝部隊的行為模式。這個現象不只是AI理論上的漏洞,而是每一個大規模部署的AI感知系統都必須面對的真實威脅。
這個威脅的深刻之處在於:它不只是讓AI出錯,它讓AI在出錯的同時依然顯得完全正確。感知層輸出的,是一份看起來完整、高置信度的情報;判斷層在這份情報上建立評估;行動層在這個評估上提出建議。整條依存鏈在邏輯上自洽,每一個環節都運作正常;除了最底部的那個現實,已經悄悄地被替換了。
在這種情況下,人類操作者所監督的,不是真實的戰場,而是一個被精心構建的虛假戰場的高解析度呈現。MHC(有意義的人類控制)所依賴的「人類看見真實並做出判斷」這個前提,在感知層被污染的那一刻起,就已經從根本上崩解了。
這個問題沒有簡單的技術解方。它的存在,讓後文所有關於「如何重建人類控制」的討論,都必須帶著一個誠實的但書:我們在討論一個理想條件下的控制框架,而現實的戰場,不會總是提供理想條件。
工具的幻覺
讓我們在離開這一節之前,停留在「參與者」這個詞上多想一想。
當我們說AI是「工具」,我們預設的是一種單向的使用關係:人類決定目標,工具提供手段。錘子不會影響你想釘什麼釘子;計算機不會影響你想解什麼方程式。工具是被動的,它的存在不改變使用者的認知框架。
但當AI升格為參與者,這個關係就翻轉了。參與者有自己的邏輯、自己的輸出、自己對情況的「詮釋」。更重要的是,參與者的存在會改變其他參與者的行為。當一個高置信度的AI建議出現在螢幕上,它不只是在提供資訊,它在重新定義這個決策情境的重力中心,它讓「接受建議」顯得自然,讓「質疑建議」顯得需要額外的力氣。
這個重力,是本文所有認知問題的起點。
那麼,在這個重力的設計者Anthropic選擇為這個重力設置邊界的那一刻,究竟發生了什麼?它所畫下的那些紅線,是技術層面的倫理姿態,還是觸及了某個更根本的問題?這是我們接著要釐清的事。
第二節 紅線的哲學
當「合法」不等於「該做」
讓我們回到那場分裂的現場,但這一次,我們不是為了理解它的政治後果,而是為了理解它所揭示的一個更深層的問題。
2026年初,當美國戰爭部要求所有AI供應商接受「全合法用途」標準時,它要求的表面上是一個技術規格的調整:移除軟體層面的倫理過濾器。但在這個要求的背後,隱藏著一個哲學主張:判斷一個行動是否可以被執行的最終標準,是它是否符合現行法律。法律之內,皆可為之。
Anthropic的拒絕,因此不只是一個商業決定。它是對這個哲學主張的正面反駁。
硬性限制:把「不」刻進骨子裡
理解Anthropic的立場,需要先理解「憲法AI」(Constitutional AI)這個概念的技術意涵。這不是一個程式隱喻,而是一個具體的架構設計:AI模型的行為邊界,被編碼進模型的底層訓練邏輯,而非依賴外掛的過濾程式或即時的內容審查。之間的差別在哪裡?一個外掛的過濾器可以被關掉、被繞過、被重新配置;一個編碼進底層邏輯的限制,不是用戶端的設定問題,而是模型本身是什麼的問題。
Anthropic所堅持的具體紅線有兩條。第一,Claude不得被用於全自動武器系統,即在沒有任何人類介入的情況下,自主完成從目標識別到致死打擊的完整決策鏈。第二,Claude不得被用於對本國公民的大規模監控。這兩條限制的共同特徵是:它們不問行動是否合法,它們問的是行動是否跨越了一條與法律地位無關的而與憲法AI有關的界線。
執行長Dario Amodei的立場可以被這樣概括:有些事情,不是「合不合法」的問題,而是「該不該做」的問題。這個區分,在哲學上有一個清楚的名字:它是在主張道德義務(moral obligation)獨立於法律義務(legal obligation)而存在。法律是人制定的,法律可以錯可能錯,法律可以被修改成任何形狀,但是某些行為的錯誤性,不會因為法律的沉默或許可而消失。
Dario Amodei堅持的代價其實相當沉重。戰爭部將Anthropic列為國家安全供應鏈風險,限令其在六個月內撤離所有機密網路。一家公司因為拒絕移除道德邊界,被國家定性為威脅。這個事實本身,就已經是一個值得我們長久凝視且認真思考的景象。
語義護欄:把「不」轉譯成「視情況而定」
OpenAI的Sam Altman在Anthropic撤離的空缺中,迅速簽下了替代合約。這份合約接受了「全合法用途」標準,但在文本中加入了「維護人類行使武力責任」的條款,以示倫理上的節制。
法律專家的分析非常清楚而冷酷。這個條款將倫理責任從「軟體拒絕機制」轉移到了「現行法律約束」。換言之,它沒有在技術上設置任何邊界,它只是宣示:在現行法律允許的範圍內,我們支持人類負責任地使用武力。至於現行法律允許什麼,則由制定法律的政府來決定。
這個修辭循環的精妙之處在於,它在語義上製造了一種倫理承諾的幻覺,同時在結構上清除了任何實質的限制。合約禁止「刻意、針對性」的國內監控,卻對「附帶性數據採集」保持沉默,為大規模元數據處理留下了一道精心設計的法律後門。OpenAI承諾使用雲端部署而非邊緣部署,宣稱這更有利於人類實施緊急中斷(Kill Switch)。但在AI機器進行戰爭的速度中,需要人工介入的緊急中斷,事實上已經變成一種形同心理安慰劑的廣告詞,而不是真實可用的控制機制。
我們可以把這兩種立場的差異,歸結為一個根本性的分歧:邊界應該由誰來設?
Anthropic的答案是:由道德邏輯設,並將它刻進技術架構。OpenAI的答案是:由法律設,技術跟著走。前者預設了法律可能是錯的,因此需要一個獨立於法律之外的標準;後者預設了在民主體制下,法律是道德共識的最佳體現,技術不應凌駕於此。
誰來定義「合法」,以及這個問題為何讓人不安
有人會說:OpenAI的立場其實更謙遜,更符合民主原則。由民選政府制定的法律來界定軍事AI的行為邊界,比由一家私人科技公司的倫理委員會來界定,要更具有民主正當性。Anthropic的「憲法AI」,說穿了是一家私人企業將自己的道德判斷凌駕於國家法律之上,而這難道不是一種傲慢?
這個反駁是有其力量,但它迴避了一個無法迴避的歷史事實:法律不總是道德的。二十世紀的歷史裡,合法的屠殺、合法的奴役、合法的種族清洗,都曾經以「符合現行法律」的面目存在過。當國家本身成為違反人道行為的主導者,以「現行法律」為最終倫理邊界的系統,不只無法提供保護,它反而成為暴行的執行工具。
這裡不是僅僅在進行抽象的哲學推演。在AI軍事化的脈絡下,它是一個具體而殘酷的問題:如果一個政府通過了允許對特定族裔進行「預防性打擊」的法律,一個以「全合法用途」為標準的AI系統,是否應該執行這個指令?
Anthropic的答案,是把這條線畫在技術架構裡,而不是等待法律告訴它答案。這個選擇的代價,是被排除在權力的核心之外;但它的意義是,即使在法律失效的時刻,仍然存在一個不會移動的邊界。
接著我們就要面對本文所要討論的核心問題。
Anthropic所試圖保護的,不只是某些特定行為不被執行。它所試圖保護的,是一種關係結構:在人與人之間的致死決定中,必須存在一個能夠說「不」的道德主體。當這個道德主體是人類時,我們稱之為良知;當Anthropic試圖把它編碼進AI的底層架構時,我們稱之為憲法AI。形式不同,但背後的信念是一致的:有些決定,不應該由一個無法感受後果的系統來做。
然而,當Anthropic被逐出機密網路之後,這個「說不的能力」就從戰場的認知架構中消失了。取而代之的,是一個更順從、更靈活、更願意把「合法」等同於「正確」的系統。
這個時候,戰場上的人類操作者,獨自面對著一台不再會說不的機器。
他的大腦,準備好了嗎?
第三節 會痛的機器
人類在戰場上的認知、情緒與道德感應能力
在我們追問AI如何改變戰場之前,我們需要先誠實地面對一件事:人類在戰場上,從來就不是一個穩定的、理性的判斷主體。
這不是對人類智慧的貶低,而是事實的描述。人類大腦在演化過程中,從未遭遇過「需要在毫秒內決定是否結束另一個人的生命」這樣的選擇情境。戰場對人類認知系統的要求,遠遠超出了這個系統被設計來應對的範圍。理解這一點,是理解AI介入戰場所帶來的所有問題的前提。因為在戰場上AI改變的,不是一個運作良好的系統,而是一個本來就已經在壓力下掙扎的系統。
壓力如何重寫大腦的優先序
人類在面對威脅時,下視丘-腦垂體-腎上腺軸(Hypothalamic-Pituitary-Adrenal axis,HPA軸)會啟動一連串的生理反應:皮質醇與腎上腺素大量釋放,心率加速,血液從前額葉皮層重新分配至運動皮層與邊緣系統。這個反應的演化邏輯非常清楚的顯示,在面對捕食者的瞬間,快速的身體反應比緩慢的分析思考更能確保生存。選擇逃跑或戰鬥,並不需要哲學。
但現代戰場要求的,恰恰是一種道德哲學的能力。人類必須在資訊不完整、時間極度壓縮、生死後果不可逆的情境下,判斷一個行動是否值得被執行,以及這個判斷的重量由誰來承擔。它要求操作者在極度壓力下,同時維持工作記憶的容量、抑制衝動反應、整合來自多個來源的矛盾資訊、並在這一切之上,做出一個在道德上能夠被辯護的判斷。這些能力,統稱為執行功能(Executive Functions),其生理基礎正是前額葉皮層,然而前額葉皮層,卻正是壓力反應中第一個被降級的區域。
這個矛盾並不是意味著人類演化的失敗,而是人類處境的結構性張力:我們被要求用一個在壓力下會關機的器官,來完成一項只有在那個器官全力運作時才能完成的任務。
決策疲勞:不是線性的衰退,而是懸崖式的墜落
壓力之外,時間本身也是認知的敵人。
心理學研究對「決策疲勞」(Decision Fatigue)的描述,揭示了一個與直覺相悖的模式。認知資源的耗竭不是線性的,不是像蠟燭一樣均勻地燃燒殆盡,而是在某個臨界點之後,呈現出懸崖式的驟降。在臨界點之前,操作者可能感覺自己仍然清醒、仍然在判斷;但他的批判性評估能力,已經在他不知不覺中跌落了懸崖。
更深層的問題是,個體差異在壓力下會被放大,而非縮小。研究顯示認知需求(Need for Cognition)較低的操作者、或曾有創傷後壓力症候群(PTSD)史的退伍軍人,其在高認知負荷下的執行功能的脆弱性,顯著地高於一般水準。我們必須意識到,戰場上沒有統一的認知基線,每一個坐在控制台前的人,都是帶著一套不同的神經系統歷史。
這個事實,對「人類控制」這個概念提出了一個微妙但重要的挑戰:當我們說「人類將保持控制」,我們說的是哪一個人類?在什麼狀態下的人類?在任務開始後的第幾個小時?
情緒不是噪音,是道德的感應器
然而,到目前為止,我們描述的都是人類認知的限制。卻有一件事情同樣重要,卻更少被提及:這些限制與一種獨特的能力,長在同一個根上。
神經科學家Antonio Damasio的軀體標記假說(Somatic Marker Hypothesis)提出了一個反直覺的命題:情緒不是理性決策的干擾項,而是理性決策的必要條件。他對前額葉損傷患者的研究顯示,當情緒反應的神經迴路受損,患者在純粹邏輯測試上表現正常,卻在真實生活的決策中頻繁做出災難性的選擇。因為他們無法感受到「這個選擇讓我不安」這個信號,而這個信號,正是道德直覺的神經語言。
恐懼、罪疚感、同理心,這些在戰場上被視為「需要被克服的弱點」的情緒狀態,從Damasio的框架來看,是大腦在告訴我們:這個決定有重量,請你停下來。它們不是認知的雜訊,而是道德感應系統的訊號輸出。一個完全沒有情緒干擾的決策者,不是更理性的決策者,而是一個道德感應器已經失效的決策者。
道德傷害:當罪疚感沒有地方落地
情緒在戰場上的道德功能,在戰後心理學的領域裡,有一個更具體的呈現:道德傷害(Moral Injury)。這個概念,需要與我們比較熟悉的創傷後壓力症候群(PTSD)加以區分。PTSD的核心是恐懼,對威脅記憶的反覆重現,對危險信號的過度反應。道德傷害的核心卻是罪疚,當一個人在事後意識到,自己曾在某種「道德麻醉」的狀態下,做了一件自己其實並不認同的事,那個認知所帶來的內在撕裂,無法用對威脅的脫敏訓練來修復。
道德傷害所揭示的是人類認知系統的一個深層真相:即使在最極端的壓力下、即使在最徹底的去人性化的介面設計下,人類仍然帶著一個道德評估的能力,只是這個能力被暫時關閉了,而不是被永久刪除了。當它在事後重新開機,它所面對的,是一段自我無法認領的記憶。
這就是為什麼道德傷害如此獨特,也如此沉重。它不是一個人沒有良知的結果,而恰恰是一個人有良知的結果;只是這個良知,在它最需要發言的時刻,被徹底的壓制了。
脆弱性與道德功能,長在同一個根上
現在,我們可以把這一節所描繪的圖像,整合為一個完整的命題。
人類在戰場上的認知脆弱性,是真實的。壓力壓縮前額葉,疲勞製造懸崖,個體差異讓「人類控制」這個詞在不同的操作者身上意味著截然不同的東西。這些都是無法迴避的事實。
但這些脆弱性,與人類獨有的道德感應能力,共享同一個神經基礎。情緒讓人在壓力下判斷失準,同樣的情緒也讓人在按下按鈕之後感到罪疚。前額葉在壓力下關機,同樣的前額葉在平靜時負責道德推理。道德傷害的存在,恰恰證明了:即使在系統最努力地讓人忘記「對面是一個人」的情境下,人類仍然沒有完全忘記。
這不是說人類的脆弱性可以被忽略。而是說,任何試圖「修正」人類脆弱性的方案,都必須同時回答一個問題:在修正脆弱性的過程中,我們是否也同時切除了那個與脆弱性長在一起的道德感應器?
這個問題,在AI介入戰場之後,變得異常迫切。
因為AI的介入,正是以「彌補人類的認知限制」為名進場的。而且它也的確做到了一部分:它不疲勞,它不恐慌,它的處理速度不受皮質醇水平影響。但它所「彌補」的,究竟是人類的弱點,還是人類的道德功能?這兩件事,在神經層次上難以分離,而AI的設計,並不總是理解這個區別。
那個坐在螢幕前的操作者,他的大腦在壓力下掙扎,他的情緒在介面設計的重力中逐漸失聲,他的道德感應器在「高效能系統」的協助下一點一點地被靜音。
他還在那裡。但他正在變成什麼?就讓我們嘗試去回答這個問題。
第四節 不對稱的協作
當機器的速度成為人類的枷鎖
現在我們同時擁有了兩幅圖像:一幅是AI在戰場上的三層功能架構,一幅是人類在極端壓力下的認知與道德圖像。把這兩幅圖像疊在一起,我們看見的不是互補,而是一種深刻的不對稱,而這個不對稱,正是接著所有問題的結構性根源。
兩種根本不同的「思考」
要理解人與AI在認知上的差異,我們需要先拒絕一個誘人的類比:AI不是「更快的人類思考」,就像飛機不是「更快的奔跑」。它們之間的差異不是程度上的,而是結構上的。
人類的判斷是具身的(embodied)、情境依賴的(context-dependent)、整合情緒信號的。當一個操作者看見螢幕上的目標座標,他的大腦同時在處理數十個來自身體與記憶的信號:這個決定與我的價值觀一致嗎?這個場景讓我感到不安嗎?我上一次在類似情境下的判斷,後來被證明是對的嗎?這些信號不是雜訊,我們在上一節已經確認了這一點,它們是道德感應系統的輸出,是人類判斷之所以具有道德重量的神經基礎。
AI的「判斷」是根本不同性質的東西。它是基於大規模模式匹配的概率推論。在訓練數據中,與當前輸入最相似的情境,導向了什麼結果?這個過程沒有情緒信號的整合,沒有對自身判斷歷史的反思,沒有「這個決定讓我不安」這種訊息的輸出,因為沒有一個「我」在那裡感到不安。AI不是在理解戰場,它是在辨識戰場的模式。這兩件事在輸出上可能看起來相似,在本質上卻是截然不同的認知行為。
這個架構差異,在平時或許只是哲學討論的素材。在戰場上,它決定了生死,也決定了誰該為生死負責。
速度的暴政
然而,架構的差異,在現實的戰場上,是以一種更具體、更殘酷的形式呈現出來:速度的不對稱。
要理解這個不對稱的後果,我們需要先借用心理學家Daniel Kahneman對人類認知的一個經典區分。他將人類的思考模式分為兩個系統:系統一是快速的、直覺的、幾乎不耗費認知能量的,它讓我們在零點幾秒內認出一張熟悉的臉,在話說到一半時就知道句子的結尾。系統二則是緩慢的、分析性的、極度耗能的,它讓我們解一道數學題、評估一個論證的邏輯漏洞、或者在按下按鈕之前停下來問:這個決定,在道德上站得住腳嗎?在日常生活中,系統一負責絕大多數的判斷,系統二只在系統一無法應對時才會被喚醒。這不是缺陷,而是演化上的節能設計。
但在AI中介的戰場上,這個節能設計遇到了它最危險的對手。
AI在毫秒內完成感知、判斷、建議的完整循環。超音速飛彈的攔截窗口以秒計算。無人機群的協同打擊決策,在人類尚未完成第一輪資訊閱讀之前,就已經在系統層面產出了最優方案。這個速度差距,不是可以透過訓練來縮短的技術問題,而是人類神經系統的生理上限與矽基運算速度之間的結構性鴻溝。
問題的核心在這裡:當決策時鐘完全由機器控制,人類的系統二,那個緩慢的、分析性的、負責道德推理的思考模式,根本無法在這個時間窗口內介入。
這不是人類失職。而是AI中介的戰場系統設計在結構上強迫人類進入純粹的反射模式。操作者不是選擇了不思考,而是被一個比他快一千倍的系統,剝奪了思考的時間。在這個意義上,「人類控制」這個概念所預設的那個從容的審議空間,在機器速度的戰場上,從一開始就不存在。
自動化偏誤:節能邏輯的致命應用
速度的不對稱,製造了一個心理學曾經精確描述過的後果:自動化偏誤(Automation Bias)。
前額葉在AI持續提供高品質建議的環境下,會逐漸降低自身的活動,因為大腦判定:既然有一個外部系統已經在思考了,我就不必浪費能量自己去想了。這是大腦的節能邏輯,在演化上完全合理,在戰場上卻是一個致命的陷阱。
研究數據揭示了這個陷阱的深度:即使AI明確出現錯誤,操作者在高認知負荷人機協作情境下,仍有超過百分之三十的概率採納錯誤方案。更值得注意的是,這個概率在單一任務與多任務環境中都會存在,這意味著它不是注意力分配的問題,而是信任結構的問題。操作者已經在神經層次上將AI的輸出登錄為「可信賴的預設答案」,質疑這個答案需要額外的認知力氣,而在高負荷的戰場上,這份力氣往往已經被耗盡了。
而這裡自動化偏誤還會與確認偏誤(Confirmation Bias)產生交互作用,使情況變得更為複雜。當AI的輸出與操作者的直覺框架一致時,大腦不只是接受建議,它還會主動搜尋支持這個建議的證據,同時過濾掉矛盾的信號。人與AI在這個時刻形成的,不是互相制衡的協作關係,而是一個共同強化彼此偏誤的閉環,一個沒有出口的確認迴路。
可解釋AI的反諷:解釋本身成為新的陷阱
面對自動化偏誤的批評,技術界提出的主要回應是可解釋AI(Explainable AI,XAI):讓AI不只給出建議,還給出建議的理由,以顯著圖(Saliency Maps)或決策路徑的視覺化呈現,幫助操作者理解AI在「看什麼」。這個方向的出發點是對的,但它隱藏著一個尚未充分討論且相當反諷的問題。
當AI的解釋介面所呈現的邏輯,超出了操作者的認知模型,例如,一個高維度的概率分佈圖對一個未受過統計訓練的操作者而言意味著什麼?進行解釋本身反而會增加認知負荷,而非減少。更危險的是「解釋錨定效應」:操作者在看到AI的解釋之後,思考的起點不再是「這個目標是什麼」,而是「AI已經說了這個目標是什麼,我同不同意」。這是一個微妙但其實是根本性的轉變:它把人類的判斷從獨立的評估,降格為對AI判斷的二次審查,而二次審查,在人類的認知上,天然地傾向於確認而非推翻。
因此,「解釋」在這個意義上,卻可能是一種更精緻的自動化偏誤的載體。
一百六十二秒,以及它真正告訴我們的事
我們現在可以回到那個數字,一百六十二秒,並賦予它在這個脈絡下更完整的意義。
當AI系統突然失效,且故障原因不明確時,操作者重建情境感知需要一百六十二秒。我們在前言中把這個數字表達為一個令人不安的事實。現在我們理解了它背後的機制:這一百六十二秒,不是操作者能力不足的證明,而是長期認知卸載的必然後果。當大腦習慣了把情境建構的工作外包給AI,它就逐漸喪失了自發執行這項工作的能力,就像一個習慣了GPS導航的人,在手機沒電之後,突然發現自己不知道如何辨認方向。這個類比雖然成立,但其實兩者並不等價。迷路的代價與在飛彈攔截窗口內失去情境感知的代價,完全不在同一個量級上。
一百六十二秒,是人機速度不對稱所造成的系統性設計漏洞,在現實中的具體呈現。它不是個人的失誤,而是整個架構的結構性代價,一個在設計之初就已經被寫入系統的必然後果,只是沒有人在合約談判的桌上,把它列為需要面對的條款。
不對稱的協作,還是不對稱的替代?
這一節的所有論證,最終指向一個問題:我們一直在談的「人機協作」,究竟是協作,還是替代?
協作的前提,是雙方都在貢獻自己的判斷,而這些判斷在相互制衡中產生比任何一方單獨決策更好的結果。但我們已經看到,在速度不對稱、自動化偏誤、確認偏誤閉環與認知卸載的共同作用下,人類在這個所謂的「協作」中,逐漸退出了判斷的位置,退縮為一個在AI輸出上蓋章的程序性角色。
這不是協作。這是一個替代過程,被「人類保持在迴圈中」的說法,包裝成了協作的外貌。
而當替代在認知層面悄悄完成,接下來發生的事,卻是更深層、更難以逆轉的。我們將面對的不只是判斷能力的退場,而是對生命本身的感應能力,開始在神經層次上系統性地熄滅。
那個過程,是我們必須直視的事。
第五節 像素之後的消失
數位屏障如何在神經層次上熄滅對生命的感應
如果上一節揭示的是認知能力如何的退場,那麼這一節要追問的,是比認知更根本的東西。
認知能力的退場,是一個功能性的問題,操作者判斷得不夠好,不夠快,不夠準確。這個問題有技術上的對應方案,更好的界面設計、更有效的訓練、更精密的認知輔助工具。但本節所要描述的,是一個不同層次的損傷。人類對另一個生命的感應能力,在數位屏障的長期作用下,正在神經層次上全面性地熄滅。這不是功能性的問題,而是道德感應器本身的問題。而道德感應器的損壞,沒有技術上的對應方案。
當人被翻譯成數據
AI系統處理目標的方式,在本質上是一種翻譯行為,它把一個複雜的人類生命體,翻譯成一組數字。「威脅概率:0.87」、「目標分值:高」、「Target-232」、「可疑動態源」。這些標籤不是中性的描述工具,它們是一套主動的去人格化語言,它們所做的事,是在操作者的認知系統中,用一個抽象符號取代一個具體的人。
心理學家Nick Haslam將這種去人性化區分為兩種形式,它們在戰場上同時運作,互相強化。第一種是主動的:系統直接為目標賦予非人格標籤,明確地剝奪其作為「人」的特徵。第二種是被動的:操作者因為全神貫注於優化AI提供的數學模型,極大化打擊成功率、極小化附帶損害概率,而在這個優化過程中,無意識地遺忘了數字背後的生物主體性。
這兩種路徑匯聚的終點是同一個地方:致死行為被重新定義為「執行一個正確的數學決策」。心理學家Albert Bandura所描述的「道德去個人化」機制,在這裡找到了它在人類歷史上最完美的技術載體。道德脫節不是道德的消失,而是道德的暫時斷線,一種讓人能夠執行在平靜狀態下絕對無法接受的行為的心理機制,透過將行為重新定義、將受害者重新標籤、將責任重新分配來完成。AI的介入,讓這三件事同時地、自動地、以極高的效率發生了。
距離的新面孔
傳統戰爭倫理學對「距離」的討論,主要圍繞著物理空間。遠程火砲的射手看不見目標的臉,因此殺戮的心理門檻相對較低。無人機的出現,讓這個討論複雜化了。操作者坐在千里之外的控制室,卻能透過高解析度攝影機清楚看見目標的每一個動作,甚至面孔的表情。
但AI代理型系統創造了一種更深層的距離,一種不依賴物理空間的距離:認知距離。
即便攝影機的解析度足以辨認目標的面孔,只要目標的選擇與鎖定是由AI完成的,操作者就會在神經層次上產生一種微妙的技術隔離感,行為的主導者是系統,不是我。這個「不是我」,不是一個有意識的自我欺騙,而是一個在神經層次上真實發生的代理感(Sense of Agency)的轉移,大腦把行為的因果起點,從「自我」移交給了「系統」。
這個悖論值得我們停下來仔細思考。技術同時賦予了遠距離的安全性與近距離的清晰度,你可以清清楚楚地看見目標的臉,卻完全不會被這張臉觸動。因為你的大腦已經在神經層次上,把這張臉歸類為「系統處理過的數據輸出」,而非「一個和我一樣會痛的人」。清晰度與感應能力,在這個架構下徹底解耦了。
遊戲化:當殺戮的介面長得像娛樂
認知距離在人機界面設計的層面,找到了它最具體的表現形式。
為了降低操作者的心理壓力並提升反應速度,現代軍事介面大量引入了遊戲化元素(Gamification),包括目標鎖定時的成就音效、以色彩編碼呈現的威脅等級、簡化的單鍵操作邏輯、即時的任務完成回饋。這些設計的表面邏輯是降低認知負荷,讓操作者能夠更快速地處理更多資訊。但它們的神經層次效果,是在大腦的編碼系統中,把一個致死決策的情境,逐漸登錄為一個類似電子遊戲的情境。
前扣帶皮層(Anterior Cingulate Cortex,ACC)是大腦中監控道德衝突與錯誤偵測的核心區域。當你做了一件「感覺不對」的事,ACC負責發出警報,讓你停下來重新評估。遊戲化界面的深層效果,是讓ACC的警報系統在這個情境下保持靜默。致死決策不再被大腦登錄為「需要ACC介入的道德衝突事件」,而是被歸類為「一個熟悉的操作流程的完成」。道德警報器,在設計的名義下,被悄悄關掉了。
腦電圖不會說謊
以上的分析,在神經生理學的實驗數據中找到了精確的量化支撐。
有一種技術,叫做事件相關電位(Event-Related Potential,ERP)。它的原理是這樣的:當大腦接收到一個刺激,一張圖片、一個聲音、一個決策情境,神經元的同步放電會在頭皮上留下可量測的微弱電位波動。這些波動有固定的時間結構:某些成分在刺激出現後幾十毫秒內出現,反映早期的自動感知;另一些成分在幾百毫秒後出現,反映更深層的認知評估與情緒處理。ERP技術的優勢,在於它的時間解析度,它所具有的毫秒級的精度,讓研究者能夠直接觀察大腦「在哪個時間點做了什麼決定」,而不只是事後的行為結果。
在這個技術所揭示的眾多指標中,有兩個對本文的論證格外關鍵:LPP與P300。
第一個是後期正電位(Late Positive Potential,LPP)。它出現在刺激後約四百至八百毫秒之間,反映的是大腦對情緒刺激進行「持續注意力分配」與「高級認知評估」的程度。用更直白的語言來說:LPP的振幅,告訴我們大腦認為這個刺激「值得在乎」的程度。振幅高,意味著大腦在全力投入;振幅低,意味著大腦在迴避或漠視。
Miedzobrodzka等人(2022)的實驗,測試了遊戲化暴力操作對LPP的影響。結果令人相當不安:僅僅四十分鐘的遊戲化暴力操作,就足以導致個體在隨後面對真實疼痛圖片時,LPP振幅出現顯著下降。四十分鐘之後,大腦已經開始重新定價他人的痛苦,它不再認為那是一個值得投入認知資源的事件。四十分鐘。這不是長期暴露的後果,這是一個驚人地短暫的時間窗口。
第二個指標是P300。它的名字來自它的物理特徵:一個在刺激出現後約三百毫秒達到波峰的正向電位。P300最早由Sutton等人於1965年發現,此後成為認知神經科學中最被廣泛引用的指標之一。它反映的是,大腦對一個具有心理意義的事件進行「這很重要,我需要更新我對世界的理解」這個處理過程的強度。換句話說,P300的振幅,告訴我們大腦認為這個事件「重要」的程度。
在長期暴露於遊戲化軍事介面的受試者中,P300振幅衰減了約百分之二十到三十。這個數字的意思是:大腦不再將目標的消逝,登錄為一個需要深度加工的重大事件。它成為了背景的一部分。那個在ERP波形上原本應該出現的「這很重要」的神經反應,在反覆的遊戲化操作之後,悄悄地縮小了。不是因為操作者變得冷酷,而是因為他的大腦,在設計的誘導下,完成了一次靜默的重新校準。
兩個指標,都指向同一個方向:數位屏障不是遮住了操作者的眼睛,而是切斷了他的心。
道德麻木的社會學放大
個體神經層次的去人性化,在組織與系統的層面,找到了它的放大結構。
社會心理學家Bibb Latané的社會影響理論(Social Impact Theory)告訴我們,當責任被分攤給越來越多的行為者,每個個體所感受到的道德重量會以非線性的方式遞減。Latané原本用這個理論描述社會影響力的稀釋;在多代理的AI戰場架構中,同樣的邏輯適用於道德責任感的分散。在AI介導的戰場上,這個「行為者」的數量不只包括人類成員,還包括了多個AI子代理系統:感知層的分析系統、判斷層的風險評估模型、行動層的決策建議引擎。每一個子代理系統的介入,都在稀釋操作者的代理感,都在讓「這個決定是我做的」這個感知,變得更加模糊。
操作者不再感覺自己是行為的直接發起者,而更像是一個流程的監管者,一個在一連串已經發生的計算的末端,蓋下最後一個章的人。這種代理感的喪失,在心理層面上觸發了Bandura所說的「責任擴散」(diffusion of responsibility)機制:原本應由一個具體的人類主體承擔的致死決策重量,在層層分攤之後,變得如此輕薄,以至於沒有任何一個環節中的人,真正感覺自己做了一件沉重的事。
數位屏障作為道德感官的阻斷器
現在我們可以把這一節所有的論證線索,收攏為一個完整的診斷。
數位屏障的效果,不只是改變了操作者與目標之間的物理距離,它在三個層次上同時運作:在語言層次,AI將人翻譯成數字,讓道德推理失去了它的對象;在神經層次,遊戲化界面讓ACC靜默,讓LPP與P300的振幅衰減,讓大腦逐漸把他人的消逝登錄為背景噪音;在社會層次,多代理的責任分攤讓道德重量在系統中蒸發,沒有人在承擔,因為每個人都只是在執行流程的一個環節。
這三個層次加在一起,製造了一種我們可以稱之為「結構性道德麻木」的狀態,不是個別操作者的道德失敗,而是整個系統的架構,造成了道德感應能力的喪失。
這個診斷的沉重之處在於:它描述的不是極端情境下的例外,而是在當前的設計邏輯下,正常運作的系統的正常輸出。道德麻木,不是系統出了問題的徵兆,在某種意義上,它是系統正確運作的結果。
面對這個診斷,我們當然可以絕望。但在這篇文章裡,我們不選擇絕望,不是因為問題不嚴重,而是因為絕望本身,代表的只是另一種形式的放棄。
那麼,學界與技術界在看見這幅圖景之後,提出了什麼回應?這些回應,是否真正理解了問題的所在?
這是接著在下一節我們必須誠實檢視的事。
第六節 在極速中製造停頓
重建「有意義的人類控制」的方案與它的誠實邊界
面對前幾節所描繪的圖景:認知卸載、自動化偏誤、神經層次的去人性化、責任在多代理鏈條中的蒸發,一個迫切的問題浮現了:我們能做些什麼?
在回答這個問題之前,我們必須先建立一個概念:有意義的人類控制(Meaningful Human Control,MHC),因為它是接下來我們要討論的所有技術方案的共同依據,也是這些方案最常被誤解的地方。
MHC不是一個開關,而是一種認知狀態
「有意義的人類控制」(Meaningful Human Control,MHC)在2026年以前,多半在國際人道法的討論中以法律修辭的面貌出現:自主武器系統必須保持人類的有意義控制,以確保符合區分原則與比例原則的判斷能夠被執行。然而,這個表述其實預設了一個從未被檢驗的前提:只要人類在場,控制就是有意義的。
MHC的法律定義,在國際人道法的框架下,基本上是一個程序性的要求:在任何致死決策的執行鏈條中,必須有一個人類行為者處於「有意義的」監督與授權位置。這個定義的重點,在於人類的「在場」,有人在迴圈中,有人持有授權,有人在法律文件上留下了名字。只要這些條件被滿足,系統就被認為符合了MHC的要求。然而,這個定義對「在場」的理解,停留在法律程序的層面,而不是認知心理學的層面。
認知心理學對這個預設的回應,是一個完全的否定。
控制不是一個開關,不是「人類有沒有按鈕的權限」這個二元問題的答案而已。控制是一種持續的認知狀態,它要求操作者同時具備三個層次的情境感知(Situation Awareness,SA):第一層是感知,我看見了什麼?第二層是理解,這些信息意味著什麼?第三層是預測,三十秒後會發生什麼?
只有當操作者同時維持著這三個層次的運作,他的介入才算得上「有意義」。一個因為長期認知卸載而喪失了情境感知能力的操作者,一個被遊戲化界面麻痺了道德感應能力的操作者,一個在一百六十二秒的認知盲區中徒勞地試圖重建現實圖像的操作者,這些人都在場,都有按鈕的權限,但他們的控制,在任何意義上,我們必須誠實的說,都談不上「有意義」。
MHC的法律定義與MHC的心理學現實之間的這道鴻溝,正是本節所有討論的起點。
道德緩衝墊:當人類在系統中只是一個法律裝置
在填補這道鴻溝之前,我們必須先直視它在現實中最危險的具體形態,而這個形態,恰恰是由MHC的法律定義本身所製造的。
文化人類學家Madeleine Elish研究了一系列真實的自動化系統事故,航空事故、核電廠事故、自駕車事故。她觀察到一個在這些案例中反覆出現的結構性現象:系統越複雜、自動化程度越高,出事之後承擔責任的,往往是那個在整個決策鏈條中控制能力最有限的人,亦即坐在終端前的操作者。設計系統的工程師免於追究,建立演算法的機構免於追究,批准部署的決策者免於追究。責任,以近乎重力的方式,沉澱到了離按鈕最近的那個人身上。
Elish借用汽車工程中「潰縮區」的意象,把這個現象稱為「道德緩衝墊」(Moral Crumple Zone)。汽車的潰縮區,是車頭在碰撞時優先變形的結構,它的存在,不是為了讓車開得更好,而是為了在出事時有東西可以碎,以保護車內的人。Elish的觀察是:在高度自動化的人機系統中,人類操作者扮演的,往往正是潰縮區的角色。只不過,汽車的潰縮區保護的是駕駛;AI系統的道德緩衝墊保護的,是技術系統本身的完整性,而代價,則由最接近事件的那個人承擔。
這個現象的根源,正是MHC法律定義的核心漏洞。「要求人類留在迴圈中」這個法律原則,在程序上確保了一件事:出事的時候,有一個有血有肉的責任承擔者在場。但它沒有確保的是:這個人是否真正參與了決策,是否真正理解了自己在做什麼,是否真正具備了說不的能力。法律要求的是人的存在,不是人的判斷。於是,一個在認知上早已退出決策的操作者,在法律意義上仍然是完全合規的「人類控制者」,直到系統出錯的那一刻,他才以另一種身份重新出現,他成為責任的承擔者。
這是Elish批判的核心:MHC的法律定義,在無意間為道德緩衝墊提供了完美的制度土壤。它用「人類在場」的程序要求,製造了一種控制的幻覺;而當幻覺破滅,留下來的不是問責的空缺,而是一個早已被設計好的替罪結構。那個在螢幕前按下按鈕的人,不是因為真正做了決定而承擔後果,而是因為他在那裡,他的手指碰過了那個鍵。
任何試圖重建MHC的方案,如果沒有同時解決這個結構性的問題,就只是在為道德緩衝墊塗上一層更體面的油漆。
認知摩擦:刻意讓流暢變得困難
帶著這個認識,我們現在可以進入學界提出的具體方案,並以更清醒的眼光來評估它們。
第一條路徑,是認知摩擦的設計。
在追求「戰爭速度」的時代,過於流暢的界面是認知的陷阱,它讓系統一的自動駕駛模式永遠不需要被中斷。認知心理學家Haselager提出的「反射機器」(Reflection Machines)概念,從根本上顛覆了傳統AI輔助的設計邏輯:反射機器不向操作者提供建議,而是提供問題。
它的設計哲學,可以被概括如下列:與人類的節能傾向作對。當AI指向一個目標時,反射機器不說「建議執行打擊」,它問:「你認為AI標註此目標的主要證據為何?」「若該建築物內存在非戰鬥人員,你的行動方案會如何改變?」甚至要求操作者從三個潛在風險中選出最具威脅的一個,否則開火鍵將維持鎖定。
這種人為設置的難度,確實增加了決策延遲。這是它的代價,也是它的目的。研究指出,認知摩擦能顯著減少標籤誘導的道德脫節與去人性化傾向。因為它強迫大腦從系統一的反射模式,切換回系統二的反思模式。它用設計的力量,在極速的戰場上,強行創造了一個停頓。
一個停頓,在某些時刻,是道德判斷得以發生的唯一條件。
智慧委派:讓責任無處蒸發
第二條路徑,是從系統架構層面重建責任的可追溯性。
Google DeepMind在2026年初提出的「智慧代理框架」,其核心原則是「合約優先」(Contract-First):系統僅應在結果能被精確驗證時才委派任務。如果一個任務過於主觀或複雜,例如「判斷建築物內是否有平民」,系統就必須將其遞歸分解,直到子任務能產出可自動驗證的數據,例如「紅外熱成像中是否有大於37度的熱源」。
這個設計的心理學意義,比它的技術意義更為深邃。它拒絕讓責任在委派鏈條中蒸發。在長鏈委派中,當人類將任務交給AI代理A、A再委派給B、B再委派給C,責任具備遞移性:B必須對C的結果負責,而人類委派者則必須執行雙重檢查,驗證B的直接工作及其對C的驗證路徑。每一個判斷都有一條可回溯的路徑,每一個環節都有一個可追溯的主體。
這個框架還定義了九個安全維度,從任務規格的明確性到回滾機制的可執行性,確保長鏈決策中的每一環節,都具備認知上的可追蹤性。它的目標不是消除AI的參與,而是確保AI的參與不會製造出組織心理學所說的「責任稀釋」,那種讓每個人都覺得自己只是在執行流程、因此沒有人真正負責的集體性道德麻木。
主權協議:能動性不等於主權
第三條路徑,則是在法理層面設置一個不可繞過的人類關卡。
「代理經濟與行為主權協議」(Agent Economic Sovereignty Protocol,AESP)提出了一個核心的不變量:AI代理應具備技術上的能動性(Capability),但永遠不具備主權(Sovereignty)。能動性意味著代理可以自主執行被授權的行動;主權意味著代理可以自行決定行動的目的與邊界。這個區分,在技術上微妙,在倫理上卻是決定性的。
在實踐層面,AESP要求每一項軍事行動在執行前,必須通過八項不可繞過的政策檢查。這些檢查涵蓋的範圍,從最具體的操作細節,一路延伸到最抽象的倫理條件:這次打擊的附帶損害是否超過預設的單次上限?行動的時間窗口是否仍在授權的合規範圍內?目標是否確實出現在經過人類核准的白名單之中?這個決定,是否已經經過首次強制性的人類審查程序?
每一個問題,都是一道閘門。任何一道閘門未能通過,系統就啟動分級升級機制,這個機制的設計邏輯是讓問題的嚴重程度決定由誰來接手處理。輕微的、非關鍵的偏差,系統自動中止,不將決策壓力推回給操作者;不尋常的請求,升級送交人類手動批准,要求一個真實的人做出明確的判斷;而一旦涉及關鍵政策的變更,例如擴大交戰範圍、授權打擊新的目標類別,系統則進入最高等級的驗證程序。
在這個最高等級,AESP的設計者做了一個耐人尋味的選擇:他們要求操作者提供生物特徵數據,包括視網膜掃描與腦電特徵驗證。這不只是身份確認,它試圖確認的是一件更難量測的事:此刻坐在這裡的人,是否處於清醒的、具備道德主體性的狀態?換句話說,系統在問的不只是「是你嗎」,而是「你現在在嗎」。
情境感知的鎖定:你必須先看見未來
第四條路徑,是情境感知的強制驗證。
真正有意義的控制不只在於感知(Level 1)與理解(Level 2),更在於預測(Level 3)。系統設計者提出了一種鎖定機制:在執行致死行動前,系統會隨機要求操作者指出三十秒後敵我雙方的預期位置。若答覆偏差超過閾值,系統判定操作者已脫離迴圈(Out-of-the-Loop),並強制鎖定決策權限。
這個設計的邏輯,與反射機器的邏輯是一致的:不假設人類在場就等於人類在控制,而是用可驗證的指標,在每一個關鍵決策節點上,確認人類的認知狀態是否達到了「有意義」的最低門檻。
方案的誠實邊界
這四條路徑加在一起,構成了目前學界對MHC最完整的技術重建嘗試。它們都是嚴肅的,都有實證研究或嚴格的系統設計邏輯作為支撐。但在結束這一節之前,我必須誠實地說出它們的邊界究竟在哪裡?
這些方案,都建立在一個共同的前提上:感知層的數據是可信的,AI系統的運作是在正常條件下進行的。我們在第一節已經指出,對抗性攻擊能夠在感知層植入人類察覺不到的擾動,讓整個判斷鏈條建立在一個被悄悄替換的現實上。在這種情況下,認知摩擦、智慧委派、主權協議,保護的是操作者在一個虛假戰場上的道德完整性,而不是對真實戰場的有效控制。
這不是說這些方案沒有價值。它們有。但它們的價值,是在理想條件下的價值。而現實的戰場,不總是提供理想條件。
此外,這些方案都在試圖解決一個「如何」的問題,如何讓人類更有效地控制AI。它們的設計邏輯,隱含了一個共同的前提,人類的判斷有其不可替代的價值。但這個前提本身,在這些方案中始終以不言而喻的方式存在,從未被正面展開論證。這讓它們在面對一個更根本的追問時,顯得沉默:如果AI更精確、更迅速、更不受認知疲勞影響,讓它全權進行決策,不是更能減少錯誤嗎?那為什麼人類必須留在這個迴圈中,不是在制度上,而是在根本的意義上的理由為何?這個問題,是技術方案無法回答的問題。它需要一個不同層次的回應,一個不從效率出發,而從人類存在的本質出發的回應。
而那個回應,正是我們這篇文章最終必須抵達的地方。
第七節 罪疚感的防禦價值
為什麼我們不能把道德也外包出去
討論戰爭無疑的是一件令人沉重的議題。
這篇文章的論述,從矽谷的倫理分裂,到AI在戰場上的三層功能架構,到Claude的紅線與它背後的哲學問題,到人類在極端壓力下的認知圖像,到人機之間不對稱的協作結構,到數位屏障如何在神經層次上切斷操作者的心,到學界試圖重建人類控制的四條路徑與它們的誠實邊界。
這條論證的線索,最終把我們帶到了一個技術方案無法抵達的地方。但在我們踏進去之前,有一個問題橫在路上,必須先行處理,否則,接下來的所有的論證都會被它的陰影所干擾。
效率與正義,是兩件不同的事
讓我們先回應那個第六節末尾留下的問題:如果AI更精確、更迅速、更不受情緒干擾,為什麼不讓它全權決策?
這個問題自然有其力量。在純粹的命中率計算上,一個不受皮質醇影響、不會決策疲勞、不會在一百六十二秒的認知盲區中迷失的系統,確實可能在某些可量化的指標上優於人類。如果我們的目標是極小化技術誤差,讓AI全權負責,在邏輯上其實是一個連貫的主張。
但這個主張犯了一個根本性的錯誤:它把「減少錯誤」等同於「維持正義」。
戰爭中的「正確決策」,從來不只是命中率最高的決策。它是一個有能力承擔道德後果的主體,在充分理解行動意義的條件下所做出的決定。精確性是技術問題,責任是倫理問題。一個AI系統可以極其精確地執行指令,同時對自己的行為完全沒有道德意義上的承擔,因為承擔需要一個能夠感受後果的主體,而AI沒有這樣的主體。
這個差異是結構性的,不是程度性的。我們不能說AI的責任感「比人類少一點」,就像我們不能說一幅畫「比真實的火焰稍微熱一點」。畫與火焰之間,不存在「多一點或少一點」的關係。它們是根本不同性質的東西。
面孔的命令
Emmanuel Levinas的倫理學,從一個比效率計算更根本的地方出發。
Levinas認為,倫理的起點不是抽象的原則,不是功利的計算,不是契約的協議。倫理的起點,是與他者面孔(the face of the Other)的相遇。面孔,那個具體的、脆弱的、無法被化約為概念的他者的呈現,向我發出一個無聲的命令:你不可以殺我。
這個命令不需要論證。它不是從某個道德公理推導出來的結論,它直接穿透了一切計算,在我尚未「思考」之前就已經抵達了。它的力量,來自於它是兩個同樣有限的、同樣脆弱的存在者之間的直接相遇,不是透過符號,不是透過數據,而是透過那個無法被數位化的臨場感。
AI沒有辦法接收這個命令。不是因為它的演算法不夠精密,而是因為這個命令的傳遞,需要一個能夠被它觸動的接收者。觸動,需要的不是更高的運算能力,而是那種只有在兩個同樣承擔著有限性的存在者之間,才能發生的相互暴露。AI沒有有限性,因此它無法在這個意義上與另一個有限的存在者相遇。
這就是為什麼人類必須留在迴圈中。不是因為人類判斷得更準確,而是因為只有人類,能夠接收那張面孔所發出的命令。
罪疚感不是噪音,是道德系統最後的防線
從Levinas的框架,我們可以回頭理解一件在整篇文章中一直隱含著的事。
人類在按下按鈕之後會感到罪疚。這個事實,在追求效率的系統設計邏輯中,一直被視為一個需要被管理的問題,如何讓操作者在執行任務後能夠心理復原,如何設計道德脫節機制以降低心理壓力,如何讓戰場上的殺戮對執行者的內心產生最小的衝擊。
但罪疚感,從道德心理學的角度來看,不是需要被管理的副作用,而是道德系統正常運作的證明。它是大腦在告訴我們:你做了一件有重量的事,這個重量是真實的,它不應該消失。一個在殺戮之後完全不感到罪疚的操作者,不是心理健康的操作者,而是道德感應系統已經受損的操作者。
我們在第五節描述了神經層次的去人性化如何讓LPP振幅衰減、讓P300波幅下降、讓ACC靜默。那些數字,描述的正是道德感應系統正在受損的過程。當這個過程完成,罪疚感消失了,但消失的不只是一種不舒服的情緒,消失的是人類對自身行為的道德意識。
這不是個人的心理衛生問題,而是文明的問題。如果戰爭失去了讓執行者感到罪疚的能力,它將演變為一場無止盡的殺戮效率競賽,一場沒有人在承擔、因此沒有任何力量能夠阻止它持續升級的競賽。罪疚感的存在,是對戰爭本身的一種內在制動。它不能阻止戰爭,但它讓戰爭保持著重量。當這個重量消失,戰爭就真正地失控了,不是在技術層面,而是在人性層面。
主體性與機器速度的對抗
然而,保護罪疚感的能力,在機器速度的戰場上,面臨著一個結構性的威脅。
認知心理學研究顯示,當決策時鐘完全由機器控制,人類的代理感(Sense of Agency),那個「這個決定是我做的,我要為它負責」的感知,會迅速消退。主體感不是一個哲學概念,它是一個有神經基礎的心理狀態,它的存在與否,直接影響人類是否會對自己的行為產生道德意義上的承擔。
沒有主體感,就沒有罪疚感。沒有罪疚感,就沒有道德制動。
這就是為什麼第六章所描述的四條重建路徑,在技術之外,都指向同一件事:在極速的系統中,強行保留一個反思的空間。認知摩擦製造停頓,智慧委派保留可追溯的主體,主權協議確認決策者的完整性,情境感知鎖定驗證操作者真正「在那裡」。這些設計的共同目標,不只是提升決策品質,而是保護主體感,那個讓罪疚感得以在事後生長的心理土壤。
主體性不應被視為效能的障礙。它是道德系統的安全閥。
政策的方向:從倫理命題到行動
從上述的倫理診斷,我們可以自然推導出幾個具體的政策方向,它們不是技術清單,而是從「為什麼人類必須留在迴圈中」這個根本命題生長出來的行動邏輯。
第一,所有自主武器系統在部署前,必須通過強制性的認知心理學審查。不只測試系統的技術可靠性,更需要測試系統的界面設計是否會誘發操作者的自動化偏誤與道德脫節。這是將Article 36武器審查從純粹的技術評估,擴展為包含人機互動心理學的完整評估。
第二,系統界面應內置操作者認知狀態的即時監測功能,當操作者進入決策疲勞的臨界區域或情境感知缺失狀態時,系統應自動切換為保守的防禦模式,而非繼續提供可能被不完整的認知狀態所接受的攻擊性建議。
第三,責任追蹤必須成為軍事AI部署的強制性架構要求。每一項致死決策,必須能夠被追溯至一個具備決策權的人類主體,而非消失在多代理委派鏈條的某個環節中。道德緩衝墊的存在,是責任追蹤缺失的直接後果。
第四,所有軍事AI系統必須定期接受對抗性攻擊的韌性測試,並將測試結果納入MHC評估框架。感知層被污染的可能性,不能只是技術備忘錄中的一行註腳,它必須成為每一個MHC聲明的前提條件之一。
這些方向,在2026年REAIM峰會的《路徑行動手冊》中已有初步的政策框架。但從框架到真正的執行,中間隔著的,是各國政府是否願意為「有意義」這三個字,承擔它真正的代價。
一百六十二秒,以及它最終告訴我們的事
現在,讓我們最後一次回到那個數字。
一百六十二秒的認知盲區,是這篇文章的起點意象,也是它的核心隱喻。我們已經從認知心理學、神經科學、系統設計與倫理哲學的多個角度,理解了它的意涵。但在文章的終點,我想說的是它最簡單的一層意義。
在那一百六十二秒裡,一個人類操作者坐在螢幕前,試圖重建一個他早已不再自己建構的世界圖像。他的前額葉在疲勞中掙扎,他的情境感知在長期卸載後萎縮,他的道德感應系統在遊戲化界面的長期作用下靜默。他在那裡,但他是否真的在那裡,是一個沒有人在合約談判的桌上認真追問過的問題。
一百六十二秒的道德真空,不只是系統設計的漏洞。它是一面鏡子,映照出我們在追求效率的路上,已經走了多遠,遠到我們幾乎忘記了,坐在螢幕前的那個人之所以重要,不是因為他有按鈕的權限,不是因為他能在法律文件上簽名,不是因為他的存在讓系統在形式上符合了MHC的定義。
他之所以重要,是因為在所有的計算完成之後,在所有的概率模型輸出之後,在所有的效率指標被優化之後,他還在那裡,帶著一個AI永遠不會有的東西。
是因為他按下按鈕之後,會痛。
參考文獻
一、Anthropic 與美國戰爭部的倫理衝突
Anthropic (2026). The Philosophy of Red Lines in Sovereign Defense.
Department of War (2026). Strategic Directive on All Lawful Uses of AI.
Center for American Progress (2026). The Department of Defense's Conflict With Anthropic and Deal With OpenAI Are a Call for Congress To Act. https://www.americanprogress.org/article/the-department-of-defenses-conflict-with-anthropic-and-deal-with-openai-are-a-call-for-congress-to-act/
TechPolicy.Press (2026). A Timeline of the Anthropic-Pentagon Dispute. https://www.techpolicy.press/a-timeline-of-the-anthropic-pentagon-dispute/
TechPolicy.Press (2026). February 2026 US Tech Policy Roundup. https://www.techpolicy.press/february-2026-us-tech-policy-roundup
The Japan Times (2026, March 1). OpenAI gives Pentagon AI model access after Anthropic dustup. https://www.japantimes.co.jp/business/2026/03/01/tech/openai-pentagon-ai-anthropic/
二、憲法 AI 與倫理治理框架
Anthropic (2022). Constitutional AI: Harmlessness from AI Feedback.
Bai, Y., et al. (2022). Constitutional AI: Harmlessness from AI Feedback. arXiv preprint arXiv:2212.08073.
三、AI 的戰場角色:感知、判斷與行動層
Boyd, J. R. (1987). A Discourse on Winning and Losing. Air University Library.
Cummings, M. L. (2017). Artificial Intelligence and the Future of Warfare. Chatham House Research Paper.
Endsley, M. R. (1995). Toward a Theory of Situation Awareness in Dynamic Systems. Human Factors, 37(1), 32–64.
Endsley, M. R. (2020). The Out-of-the-Loop Syndrome in Automated Systems. MIT Press.
四、對抗性攻擊與 AI 感知層的脆弱性
Goodfellow, I. J., Shlens, J., & Szegedy, C. (2015). Explaining and Harnessing Adversarial Examples. Proceedings of the International Conference on Learning Representations (ICLR).
Kurakin, A., Goodfellow, I., & Bengio, S. (2016). Adversarial Examples in the Physical World. arXiv preprint arXiv:1607.02533.
Szegedy, C., et al. (2014). Intriguing Properties of Neural Networks. Proceedings of ICLR 2014.
五、人類在戰場上的認知、壓力與道德感應能力
Damasio, A. R. (1994). Descartes' Error: Emotion, Reason, and the Human Brain. Putnam.
Kahneman, D. (2011). Thinking, Fast and Slow. Farrar, Straus and Giroux.
Litz, B. T., et al. (2009). Moral Injury and Moral Repair in War Veterans: A Preliminary Model and Intervention Strategy. Clinical Psychology Review, 29(8), 695–706.
Shay, J. (1994). Achilles in Vietnam: Combat Trauma and the Undoing of Character. Atheneum.
Wickens, C. D., et al. The Impact of Rapid Transitions in Mental Workload in a Supervisory Control Setting. MIT DSpace. http://dspace.mit.edu/bitstream/handle/1721.1/93794/900608543-MIT.pdf
六、自動化偏誤、認知卸載與情境感知
Cummings, M. L., & Guerlain, S. (2007). Developing Operator Capacity Estimates for Supervisory Control of Autonomous Vehicles. Human Factors, 49(1), 1–15.
Parasuraman, R., & Manzey, D. (2010). Complacency and Bias in Human Use of Automation: An Attentional Integration. Human Factors, 52(3), 381–410.
Parasuraman, R., & Riley, V. (1997). Humans and Automation: Use, Misuse, Disuse, Abuse. Human Factors, 39(2), 230–253.
Wickens, C. D., & Dixon, S. R. (2007). The Benefits of Imperfect Diagnostic Automation: A Synthesis of the Literature. Theoretical Issues in Ergonomics Science, 8(3), 201–212.
ResearchGate (2026). Automation Bias and Verification Complexity: A Systematic Review. https://www.researchgate.net/publication/306067212_Automation_bias_and_verification_complexity_A_systematic_review
ResearchGate (2026). How Time Pressure in Different Phases of Decision-Making Influences Human-AI Collaboration. https://www.researchgate.net/publication/374465108
七、去人性化、移情衰減與神經生理證據
Bandura, A. (1999). Moral Disengagement in the Perpetration of Inhumanities. Personality and Social Psychology Review, 3(3), 193–209.
Bandura, A. (2025). Moral Disengagement Mechanisms in Autonomous Warfare.
Caspar, E. A., et al. (2020). The Effect of Military Drones on Sense of Agency and Empathy. PLOS ONE.
Caspar, E. A., et al. (2022). Commanding or Being a Simple Intermediary: How Does It Affect Moral Behavior and Related Brain Mechanisms? PMC. https://pmc.ncbi.nlm.nih.gov/articles/PMC9581580/
Haslam, N. (2006). Dehumanization: An Integrative Review. Personality and Social Psychology Review, 10(3), 252–264.
Latané, B. (1981). The Psychology of Social Impact. American Psychologist, 36(4), 343–356.
Miedzobrodzka, E., et al. (2022). Neural Desensitization: ERP Evidence from Gamified Combat Interfaces.
八、可解釋 AI 與人機認知互動
Chromik, M., & Butz, A. (2021). Human-XAI Interaction: A Review and Design Principles for Explanation User Interfaces. IFIP Conference on Human-Computer Interaction.
Došilović, F. K., Brčić, M., & Hlupić, N. (2018). Explainable Artificial Intelligence: A Survey. MIPRO Proceedings.
Gunning, D., & Aha, D. (2019). DARPA's Explainable Artificial Intelligence (XAI) Program. AI Magazine, 40(2), 44–58.
ResearchGate (2026). The Influence of Agent Transparency and Complexity on Situation Awareness, Mental Workload, and Task Performance. https://www.researchgate.net/publication/379137934
九、有意義的人類控制(MHC)與技術重建方案
AESP Working Group (2026). AESP: A Human-Sovereign Economic Protocol for AI Agents with Privacy-Preserving Settlement. https://arxiv.org/html/2603.00318v1
Elish, M. C. (2019). Moral Crumple Zones: Cautionary Tales in Human-Robot Interaction. Engaging Science, Technology, and Society, 5, 40–60.
Google DeepMind (2026). Intelligent AI Delegation: A Framework for Secure Agentic Systems. https://arxiv.org/html/2602.11865v1
Haselager, W. F. G. (2026). Reflection Machines: Increasing Meaningful Human Control over Decision Support Systems. https://www.researchgate.net/publication/359803687
Horowitz, M. C., & Scharre, P. (2015). Meaningful Human Control in Weapon Systems: A Primer. Center for a New American Security.
Roff, H. M., & Moyes, R. (2016). Meaningful Human Control, Artificial Intelligence and Autonomous Weapons. Article 36 Briefing Paper.
The Neurocognitive Divide Final Report. Executive Services Directorate. https://www.esd.whs.mil/Portals/54/Documents/FOID/Reading%20Room/Litigation_Release/Litigation%20Release%20-%20The%20Neurocognitive%20Divide%20201412_redacted.pdf
十、國際法、戰爭倫理與全球治理框架
ICRC (2021). ICRC Position on Autonomous Weapon Systems.
ICRC (2026). The Erosion of Human(e) Judgement in Targeting: Quantification Logics, AI-Enabled Decision Support Systems and Proportionality Assessments in IHL. International Review of the Red Cross. https://www.cambridge.org/core/journals/international-review-of-the-red-cross/article/erosion-of-humane-judgement-in-targeting-quantification-logics-aienabled-decision-support-systems-and-proportionality-assessments-in-ihl/31024C3473211FB84FD535BC815ADC03
REAIM (2026). Pathways to Action: Outcome Document of the A Coruña Global Summit. https://www.exteriores.gob.es/en/REAIM2026/Documents/REAIM%202026%20Pathways%20to%20Action.pdf
Schmitt, M. N. (2013). Autonomous Weapon Systems and International Humanitarian Law: A Reply to the Critics. Harvard National Security Journal Features.
十一、倫理哲學基礎
Levinas, E. (1961). Totalité et infini: Essai sur l'extériorité. Martinus Nijhoff.〔中譯:《整體與無限:論外在性》〕
Williams, B. (1981). Moral Luck: Philosophical Papers 1973–1980. Cambridge University Press.

