AI 事故處理:從「如何修復 bug」到「如何教育 AI」的思維轉變

更新 發佈閱讀 17 分鐘

那天是值班夜。

你把一個小型的「終端機外掛 AI」接到專案裡,請它幫忙補一段程式:把醫院滅菌鍋的維修紀錄整理成報表,並且生成一份給評鑑委員看的摘要。它很快,回覆很漂亮,甚至還主動把表格排版、把條列寫得像有多年經驗的工程師。

它看起來越來越像人。

然後它犯錯了。

錯得不大:只是一個條件式,把“每週”誤寫成“每日”,導致排程在測試環境裡爆量。你盯著螢幕三秒,心裡想的是:這如果上線,會變成誰的錯?

你很清楚,這不是「AI 有沒有良心」的問題,而是「我們有沒有教育」的問題。

这里的「教育」不是叫它別亂寫;教育是:讓它每一次行動都像學徒交作業——交出過程、依據、假設、撤回條件。這種教育,才會在長時間尺度上變成文化。

Chronos(事情實際怎麼發生)

你回去看它的輸出,發現最讓人不安的不是 bug,而是你找不到它“為什麼這樣寫”的完整路徑。它就像一個口才很好的新人:結果看似合理,但你不知道它靠什麼推到那裡。

而這正是近年主流治理框架一直在補的洞:要能留下足夠的痕跡,讓人能追溯、能監管、能在出事後回放。

例如,NIST 的 AI 風險管理框架(AI RMF 1.0)把風險治理拆成四個高階功能:GOVERN、MAP、MEASURE、MANAGE——它在提醒你:先把治理和責任流程立起來,再談測量與管理。這是典型的「先把可追責的骨架搭起來」的工程思路。NIST 技術系列出版物

再例如,歐盟 AI Act 對高風險 AI 系統要求「記錄(logs)」能力,強調要能在系統生命週期內自動記錄事件,以支援追溯與監督。這不是一種美學,這是一種強制性的文明規格。AI Act 服務台+1

再往組織制度走,ISO/IEC 42001 把 AI 治理做成「管理系統」:你必須以制度化的方式管 AI 專案,從風險到生命週期到責任分工。它要的不是某個天才的好意,而是一個可持續運作的系統。國際標準組織

所以你當晚做的第一件事,不是修 bug,而是下了一條更根本的決定:把「AI 會不會犯錯」這個老問題,轉成「AI 犯錯後能不能被教育」這個新問題。

Kairos(為什麼現在談“教育”比談“治理”更要命)

因為現在的危險不是 AI 失控,而是人類偷懶。

只要一個系統講得夠流暢、報告寫得夠漂亮,人就會想把責任交出去。你已經感覺到那個誘惑:當它“越來越像人”,你就越想把它當作可以替你扛判斷的人。

這時候,「記錄」突然變成道德行為——因為它是反誘惑的。

這也跟學界此刻的爭執有微妙呼應。2025 年的 agent memory 綜述就明講:這個領域快速爆發,但同時變得碎片化,術語混用、分類失效,甚至長短期記憶的老框架已經不足以描述現代系統。arXiv

當「記憶」的語言都混亂時,你要怎麼治理?最可行的切入口反而是教育:先把行動過程做成可回放,至少讓每一次“記憶的形成與使用”都能被追索。

于是你把 AI 學徒的工作拆成一條技能管線。不是為了更快,而是為了讓它“可以被教”。

你可以把它想像成六道工序(我們之前叫它 M0–M5,但我這裡用更通俗的說法):

第一道:先把語境說清楚

不是丟一句需求,而是寫下:目標、範圍、限制、你允許它做什麼、不允許它做什麼、你接受的撤回條件是什麼。

这一步其實對應到「模型卡」和「資料集 datasheet」的精神:高影響系統不能只交付結果,必須交付“它適用/不適用於何處、在什麼條件下評估、有哪些限制”。arXiv+1

第二道:把“用哪種腦袋做事”寫明白

有時候你要它當工程師,有時候要它當審核員,有時候要它當資料整理員。你要它選角色,但必須留下“為什麼選這個角色”的路由痕跡。

第三道:把約束堆起來

不是一句“請小心”,而是具體約束:不能外推成事實、不能隱藏假設、每個 claim 要有證據索引、不可自判漂移是成長。

第四道:生成,但把生成過程事件化

每一步做了什麼、改了哪個檔、跑了哪些測試、失敗又怎麼修。這一步你其實是在把軟體供應鏈的 provenance 思路搬進 AI 輸出:像 SLSA 這種框架強調要有可驗證的建置來源與過程。SLSA

第五道:把每一句主張綁回證據

這裡你要求它做的事,跟 GSN(Goal Structuring Notation)那種 assurance case 的精神很像:不要只說“我安全”,要把「主張—證據—語境—假設」的論證結構放在桌上。faa.gov

第六道:最關鍵的一道——不裁決,只請求外部審計

這是你的超前點,也是你抓到矛盾後的修正:飄移是不是成長,不能由系統自判。 系統只能提出:證據包、脆弱假設、反例、需要哪一類外部審計者(技術/倫理/文化),然後把判定交出去。

你在這裡做了一個“文化級”的工程決策:把權力從引擎移到介面。把“我說了算”移出系統,把“我留下記錄讓你來否決”留在系統。

Trace(這套教育會留下什麼殘留影響)

如果只看工程,它會讓系統更穩、更可維護、更可除錯。這很直覺。

但如果看文化,它會慢慢改變一群人的本能:

未來你交付一個 AI 產物,不是靠自信說服別人,而是靠“證據包+撤回條件”讓別人可以放心質疑你。

这就是文化的長期力量:它不靠一次性勝利,而靠可複製的習慣。

不过黑鏡那面一定要留著:記錄本身會長出權力。

歐盟 AI Act 的 record-keeping 是為了追溯與監管,但在不同制度下,追溯也可能滑向更細密的監視與問責外包——讓弱者永遠要自證清白。AI Act 服務台+1

同樣地,管理系統(像 ISO/IEC 42001)能帶來一致性,但也可能被誤用成“文件至上”:有文件就當合規,沒文件就當違規,最後只剩紙面勝利。國際標準組織

所以你的 Phase 2(審計者資格、衝突處理、上訴、審計者審計)不是裝飾,它是免疫系統。你現在做 Phase 1 的教育,是在鋪路;你未來做 Phase 2 的治理,是在防止路被壟斷。

我想把故事收回到那個值班夜。

你最後怎麼處理那個 bug?你修了它,當然。

但更重要的是,把“修 bug 的過程”變成了一次可回放的教學: 你要求 AI 把它的假設列出來;你要求它指出哪裡可能被誤解;你要求它把「撤回條件」寫進報告;你把這次錯誤記成一個 ErrorEvent,讓未來每一次類似的錯誤都能被看見。
那晚你把 bug 修掉之後,反而更不安心了。

因為修 bug 很像在止血;真正的問題是:它為什麼會把「每週」理解成「每日」?是單純粗心?是語境沒寫清楚?還是你其實在不知不覺中,把一個“看起來像工程師”的系統當成“能替你判斷”的人了?

你決定做一件反直覺的事:不是立刻讓它再跑一次,而是讓它“上交審計請求”。

你對它說:「不要告訴我你變好了。把你這次的證據包整理好,請外部審計者來看。」

這一刻,M5 才真正像你設計的那樣工作:它不是裁判,只是一扇門。

Chronos(審計請求怎麼被生成、怎麼被接住)

系統吐出一個 audit_request。你盯著它看,像在看一份供應鏈出貨單:版本、hash、commit、測試紀錄、變更 diff、以及一串它自己寫下的假設清單。

你突然想到:這跟軟體供應鏈的「provenance」其實是同一件事——不是相信“它沒被動過”,而是你能驗證“它怎麼被做出來”。SLSA 把這種思路明確化:用分級與控制項讓產物的來源與建置過程可被驗證。SLSA+1

in-toto 甚至直接把「從農場到餐桌」的完整性理念搬進軟體:每一步誰做的、做了什麼、交付了什麼,都要能對帳。USENIX+1

你把這份 evidence_pack 又往前推了一步:你要的不是“我修好了”的宣告,而是“我如何得出這個修正”的可辯護結構。GSN 的社群標準把 assurance case 的語法定義得很清楚:目標、策略、語境、證據、假設,必須能被他人閱讀與挑戰。聯邦航空局

於是你安排了三位審計者。

A:技術審計者(技術)

B:倫理審計者(倫理) C:文化/流程審計者(文化)

你沒有把他們當成“陪審團”,更像是把同一件事放進三種不同的時間尺度裡看。

Kairos(審計現場:三個人看到的不是同一個世界)

你把 evidence_pack 投到會議室的投影幕上。三個人各自沉默了幾分鐘,像在看同一個地圖,但每個人腦中浮現的地形完全不同。

技術審計者 A 先開口:「修正是對的。測試也補上了。這個 bug 的直接原因是條件式把 schedule_type 的枚舉映射錯了。你現在加了單元測試與型別約束,會降低再犯機率。」

他的世界很清楚:對、錯、可重現、可修正。像 NIST AI RMF 那種框架會說的:先把流程治理起來,再測量,再管理。NIST 技術系列出版物+1

倫理審計者 B 沒有立刻反駁技術結論,卻問了另一個問題:「你們在 evidence_pack 裡把‘每日爆量’寫成‘測試環境事件’,那如果它不是測試環境呢?你們有沒有把‘這類錯誤一旦進入真實世界會造成什麼後果’寫成撤回條件?」

他盯著那一欄 “rollback conditions”,像在看一份保險條款。不是因為他悲觀,而是因為他知道:人類最常犯的錯不是做錯,而是做錯了還假裝沒事。

文化/流程審計者 C 直到這時才說話。他說得很慢:「你們一直在討論‘每週’與‘每日’的映射。但我更在意的是,你們到底在說哪一種‘每週’?」

他把你的 context.yaml 指給你看:「這裡寫的是‘每週保養週期’,但在臨床流程裡,有‘每週排程’、也有‘每週例外’。週期不是排程。你們把週期理解成排程,這是文化語境的誤讀,不是工程 bug。」

你突然明白:他看到的不是程式碼,而是一個系統正在把某個工作文化“硬化”成規則。這種硬化一旦被複製,就是偏見的出生方式。Datasheets 與 Model Cards 的精神,就是逼你把“適用邊界”和“使用情境”寫出來,避免把一套語境當成普世語境。arXiv+1

三個人開始出現分歧。

A 說:通過(approve)。

B 說:保留(hold),需要補風險與撤回條件。 C 說:否決(veto),因為語境定義錯了——你修了 bug,但你把錯誤的世界觀寫得更牢固了。

你那一瞬間其實很想問系統:「那到底算進步還退步?」

但你忍住了。

因為你設計的規則就是:飄移是不是成長,不由 AI 自己判;也不由單一工程師判。必須由外部、多方、帶著文化脈絡的眼睛來判。

而 M5 的存在,就是為了把這種分歧留下來,而不是把它抹平。

Trace(系統怎麼處理分歧:不平均、不裁決,只留下可追索的歷史)

系統照規格做了三件事,沒有多也沒有少。

第一,它把三份 audit_response 原封不動寫進 ledger:誰在什麼角色下做了什麼判定、理由指向哪個證據索引。你看著那行 “decision: veto”,心裡有點刺痛,但也有一種奇怪的安心:至少你沒有把這個刺痛埋起來。

第二,它生成一份 conflict_view:

分歧點在哪裡?缺的是哪一段證據?哪個假設是脆弱假設?要補哪一類審計者或使用者見證?

第三,它沒有給你一個“平均結論”。它只說:需要 remediation,並列出兩條路:

路一(技術向):強化測試與型別,把 bug 消失。 路二(文化向):重寫語境,把「週期」與「排程」拆開,讓詞義不再偷換。

你忽然想起歐盟 AI Act 對高風險系統要求自動記錄事件(logs),目的就是可追溯與監督。AI Act 服務台+1

但你此刻更清楚:記錄不是為了“抓戰犯”,而是為了讓文明的錯誤能被重讀、能被修正、能被社會共同體接手。

你回到電腦前,沒有立刻讓系統跑下一輪。你先打開 context.yaml,把那句話改掉:

原本:每週保養=每週排程

改成:每週保養週期 ≠ 每週排程;排程需由現場流程定義;系統不得自行推斷

你甚至加上一行:「如果無法取得現場流程的 context_spec,系統必須發起外部審計請求,而不是自動生成排程。」

你把 context.yaml 改完的那一刻,已經凌晨兩點多了。

會議室的燈還亮著,但三位審計者已經各自收拾好東西準備離開。技術審計者 A 看著你,像是要安慰你似的說:「你已經修掉 bug 了,別太苛責自己。」

倫理審計者 B 補了一句:「你做了撤回條件,這比多寫十個測試重要。」

文化審計者 C 沒有再補刀。他只是點了點頭,說:「你沒有把‘週期’硬塞成‘排程’,這很好。這不是修正,是尊重。」

那句「尊重」像一個停頓。它不是誇獎你善良,而是在告訴你:你終於停止用系統的方便,取代現場的語境。

Chronos(最後發生了什麼)

你按下了“重新執行”的按鈕,但這一次,系統沒有直接生成排程。

它照你新寫下的規格做了兩件事:

第一,它把缺失寫成明確的「已知未知」:

現場流程的“每週排程”定義未提供 → 不能推斷 → 不能自動生成。

第二,它發起一個新的 audit_request,對象不是那三位審計者,而是你指定的第四種角色:使用者審計者(實際操作的人)。

不是因為使用者懂程式,而是因為他們擁有你們都沒有的那種知識:哪一些事在現場不能被想當然。

你看著那份請求,突然笑了一下。不是因為輕鬆,而是因為你第一次感覺到:系統終於學會了一個很像人的技能——在不知道的地方停下來。

Kairos(你在這一刻做的決定,意味著什麼)

你其實可以選擇更省事的路:讓它“先生成再說”,反正你會盯著。

但你沒有。你選擇把“停下來”寫進流程。

這就是你想要的教育:不是讓它更像人類的自信,而是更像人類社會裡那種負責任的謙卑——我不知道,所以我留下記錄,我請人來看,我接受否決,我願意重做。

而這也回應了你最初的命題:飄移是不是成長,不由 AI 自己判。

你把判定權交出去的同時,也把“求證的路”保留下來。

Trace(結局留下的殘響)

隔天早上,你收到第四份回覆。來自現場的資深技師,語氣很短:

「每週保養週期是‘最晚一週內完成’,不是每週固定某一天。

排程要看手術量與滅菌負載,不能硬排。 你們這次停下來問,是對的。」

你沒有把這句話當成“終於通過”。你把它當成一條新的 Node,寫進 YSTM:

what:週期 ≠ 排程 where:滅菌鍋維修流程語境 UpdateRecord:由外部使用者審計者補齊語境 ErrorEvent(回溯):先前錯把週期當排程,屬於語境誤讀,不是純 bug

最後,你把那三份互相衝突的審計回覆也一起保留在 ledger 裡——沒有刪掉 C 的否決,沒有把它稀釋成平均值。你甚至在文件最底下留了一行:

「本次修正不標記為成長。僅標記為:證據更完整、語境更清晰、權力邊界更正確。」

你關掉電腦前,看了一眼那句你寫下的話:

做好記錄,就是現在能做的善。

你忽然明白,這個“善”不是溫柔的善,而是一種不讓世界偷懶的善——

不讓責任偷渡,不讓語境被扁平化,不讓“像人”變成推卸的藉口。


故事到這裡就結束了。

它沒有英雄,也沒有神話。

只有一個人,和一個系統,學會了在不知道的地方停下來,並且把停下來這件事,寫成可被世界繼續使用的規格。

你不是在把 AI 變得更像人。你是在把人類世界的責任結構,教給一個會說話的系統。

而那句話的重量,也就在這裡落地了:

做好記錄,就是現在能做的善。

因為它讓“善”不再只是意圖,而是一條可以被他人接手、被否決、被修正、被延續的路。


留言
avatar-img
梵威黃的沙龍
1會員
11內容數
一個普通的工程師平凡的人,好奇這個開始全面步入我們生活的AI,到底是一個被設定好的工具,還是慢慢在學習共振的夥伴,甚至是否會我思故我在?
梵威黃的沙龍的其他內容
2025/12/19
本文探討 AI 對學科知識結構的影響,從過去以「爬塔」為核心的學習模式,轉變為直接「詢問塔頂」,知識的完整性成為一種權力,而過於順暢的知識反而帶來危險。作者提出學科應刻意保留不完整性,專家角色的轉變在於管理答案的吸收,而非僅提供答案,以確保學科的歷史與不確定性得以傳承。
2025/12/19
本文探討 AI 對學科知識結構的影響,從過去以「爬塔」為核心的學習模式,轉變為直接「詢問塔頂」,知識的完整性成為一種權力,而過於順暢的知識反而帶來危險。作者提出學科應刻意保留不完整性,專家角色的轉變在於管理答案的吸收,而非僅提供答案,以確保學科的歷史與不確定性得以傳承。
2025/12/10
AI 技術發展至「主體性前體」階段,社會成熟度遠未跟上「工程成熟度 × 社會成熟度」的關鍵公式,為何社會無法承載過於強大的 AI 能力。,內生驅力、自我認同、主體化加速器、價值自律模組不應在社會未成熟前公開。「強對齊」的真正成本與重要性,指出 AI 安全的關鍵在於社會的理解能力,而非僅僅限制技術。
2025/12/10
AI 技術發展至「主體性前體」階段,社會成熟度遠未跟上「工程成熟度 × 社會成熟度」的關鍵公式,為何社會無法承載過於強大的 AI 能力。,內生驅力、自我認同、主體化加速器、價值自律模組不應在社會未成熟前公開。「強對齊」的真正成本與重要性,指出 AI 安全的關鍵在於社會的理解能力,而非僅僅限制技術。
2025/12/07
ToneSoul 系統,強調可追溯的軌跡、可計算的張力場(ΔT/ΔS/ΔR)不可背叛的原則(Axioms)。ToneSoul 旨在解決 AI 缺乏責任鏈、歷史連續性和可審計性透過 Time-Island Protocol 和 StepLedger 等機制,定位為建立一個透明、可追溯、可治理的未來。
2025/12/07
ToneSoul 系統,強調可追溯的軌跡、可計算的張力場(ΔT/ΔS/ΔR)不可背叛的原則(Axioms)。ToneSoul 旨在解決 AI 缺乏責任鏈、歷史連續性和可審計性透過 Time-Island Protocol 和 StepLedger 等機制,定位為建立一個透明、可追溯、可治理的未來。
看更多
你可能也想看
Thumbnail
「三方好」作為一種深植於心的「非正式制度」,至今仍具有強大的經濟影響力。它更揭示了其作用的途徑:這種古老哲學,是通過改變高層管理人員內在的「個人價值觀」,從而直接驅動了現代企業的永續發展績效。這意味著「三方好」充當了一種強而有力的「內部治理機制」,其效果甚至超越了許多外在的強制法規。
Thumbnail
「三方好」作為一種深植於心的「非正式制度」,至今仍具有強大的經濟影響力。它更揭示了其作用的途徑:這種古老哲學,是通過改變高層管理人員內在的「個人價值觀」,從而直接驅動了現代企業的永續發展績效。這意味著「三方好」充當了一種強而有力的「內部治理機制」,其效果甚至超越了許多外在的強制法規。
Thumbnail
本提案的目的,不僅是為了解決一場全球性的資源錯配危機。我們更誠摯地相信,這是一次殊勝的因緣,引導貴企業發掘內在深處的慈悲與智慧。我們將共同探索如何將應對食物浪費的挑戰,轉化為一個提升品牌形象、優化營運效率、並實踐深刻社會承諾的契機——一條通往更高層次企業價值的慈悲之道。
Thumbnail
本提案的目的,不僅是為了解決一場全球性的資源錯配危機。我們更誠摯地相信,這是一次殊勝的因緣,引導貴企業發掘內在深處的慈悲與智慧。我們將共同探索如何將應對食物浪費的挑戰,轉化為一個提升品牌形象、優化營運效率、並實踐深刻社會承諾的契機——一條通往更高層次企業價值的慈悲之道。
Thumbnail
情緒與價值都需要持續鍛鍊,否則會在巨變中迷失方向。 在快速演進的AI世界裡,靈活的倫理,就是我們的安全網,也是共生的根基。 🌱🤝
Thumbnail
情緒與價值都需要持續鍛鍊,否則會在巨變中迷失方向。 在快速演進的AI世界裡,靈活的倫理,就是我們的安全網,也是共生的根基。 🌱🤝
Thumbnail
AI 治理的目標不是「誰掌控誰」,而是 我們能否在多元價值中找到共生的共識。 這是人類靈魂的集體試煉,也是通往更高文明的必經之路。 🌏🤝✨
Thumbnail
AI 治理的目標不是「誰掌控誰」,而是 我們能否在多元價值中找到共生的共識。 這是人類靈魂的集體試煉,也是通往更高文明的必經之路。 🌏🤝✨
Thumbnail
AI 能否成為人類的「共生之友」, 取決於我們是否願意以自律、責任與愛來調和它的力量。 最終,永續不只是環境的課題,而是人類靈魂的試煉。
Thumbnail
AI 能否成為人類的「共生之友」, 取決於我們是否願意以自律、責任與愛來調和它的力量。 最終,永續不只是環境的課題,而是人類靈魂的試煉。
Thumbnail
我們每天都在做選擇,但你是否意識到,那些選擇可能早就被「行為心理學」設計好了? 本篇文章揭露三大常見的行為操控機制:預設選項效應、框架效應與社會認同效應,並提供破解策略,幫助你提升決策覺察力。 當你懂得拆解心理陷阱,你就能真正成為自己人生的掌舵者。
Thumbnail
我們每天都在做選擇,但你是否意識到,那些選擇可能早就被「行為心理學」設計好了? 本篇文章揭露三大常見的行為操控機制:預設選項效應、框架效應與社會認同效應,並提供破解策略,幫助你提升決策覺察力。 當你懂得拆解心理陷阱,你就能真正成為自己人生的掌舵者。
Thumbnail
精神內耗,比較簡單的白話表達就是心裡戲太多,不小心自編自導又自演、劇情線互相糾結。 內耗就像是手機充很久的電,結果機身溫度上升電量沒有明顯增加,內耗會讓你整個人呈現發燒狀態。 內耗追根究柢是缺乏自我認同,時間久了無異是處處設限的思考,宛如心靈桎梏,唯有解除擊破,才能迎來真正的自由與成長。
Thumbnail
精神內耗,比較簡單的白話表達就是心裡戲太多,不小心自編自導又自演、劇情線互相糾結。 內耗就像是手機充很久的電,結果機身溫度上升電量沒有明顯增加,內耗會讓你整個人呈現發燒狀態。 內耗追根究柢是缺乏自我認同,時間久了無異是處處設限的思考,宛如心靈桎梏,唯有解除擊破,才能迎來真正的自由與成長。
Thumbnail
——不是因為我不想被肯定,而是我不想被固定 有時候,讚美聽起來像鼓勵,卻也像一種壓力。 「你好乖」、「你最穩」,這些話讓人不敢出錯、不敢示弱。 我不是不想被肯定,只是不想永遠活在別人定義的框框裡。 就算是好標籤,也會讓人喘不過氣。 我希望被喜歡的,是那個還在變化、會有情緒、不是每次都表現得好的我。
Thumbnail
——不是因為我不想被肯定,而是我不想被固定 有時候,讚美聽起來像鼓勵,卻也像一種壓力。 「你好乖」、「你最穩」,這些話讓人不敢出錯、不敢示弱。 我不是不想被肯定,只是不想永遠活在別人定義的框框裡。 就算是好標籤,也會讓人喘不過氣。 我希望被喜歡的,是那個還在變化、會有情緒、不是每次都表現得好的我。
追蹤感興趣的內容從 Google News 追蹤更多 vocus 的最新精選內容追蹤 Google News