那天是值班夜。
你把一個小型的「終端機外掛 AI」接到專案裡,請它幫忙補一段程式:把醫院滅菌鍋的維修紀錄整理成報表,並且生成一份給評鑑委員看的摘要。它很快,回覆很漂亮,甚至還主動把表格排版、把條列寫得像有多年經驗的工程師。
它看起來越來越像人。
然後它犯錯了。
錯得不大:只是一個條件式,把“每週”誤寫成“每日”,導致排程在測試環境裡爆量。你盯著螢幕三秒,心裡想的是:這如果上線,會變成誰的錯?
你很清楚,這不是「AI 有沒有良心」的問題,而是「我們有沒有教育」的問題。
这里的「教育」不是叫它別亂寫;教育是:讓它每一次行動都像學徒交作業——交出過程、依據、假設、撤回條件。這種教育,才會在長時間尺度上變成文化。
Chronos(事情實際怎麼發生)
你回去看它的輸出,發現最讓人不安的不是 bug,而是你找不到它“為什麼這樣寫”的完整路徑。它就像一個口才很好的新人:結果看似合理,但你不知道它靠什麼推到那裡。
而這正是近年主流治理框架一直在補的洞:要能留下足夠的痕跡,讓人能追溯、能監管、能在出事後回放。
例如,NIST 的 AI 風險管理框架(AI RMF 1.0)把風險治理拆成四個高階功能:GOVERN、MAP、MEASURE、MANAGE——它在提醒你:先把治理和責任流程立起來,再談測量與管理。這是典型的「先把可追責的骨架搭起來」的工程思路。NIST 技術系列出版物
再例如,歐盟 AI Act 對高風險 AI 系統要求「記錄(logs)」能力,強調要能在系統生命週期內自動記錄事件,以支援追溯與監督。這不是一種美學,這是一種強制性的文明規格。AI Act 服務台+1
再往組織制度走,ISO/IEC 42001 把 AI 治理做成「管理系統」:你必須以制度化的方式管 AI 專案,從風險到生命週期到責任分工。它要的不是某個天才的好意,而是一個可持續運作的系統。國際標準組織
所以你當晚做的第一件事,不是修 bug,而是下了一條更根本的決定:把「AI 會不會犯錯」這個老問題,轉成「AI 犯錯後能不能被教育」這個新問題。
Kairos(為什麼現在談“教育”比談“治理”更要命)
因為現在的危險不是 AI 失控,而是人類偷懶。
只要一個系統講得夠流暢、報告寫得夠漂亮,人就會想把責任交出去。你已經感覺到那個誘惑:當它“越來越像人”,你就越想把它當作可以替你扛判斷的人。
這時候,「記錄」突然變成道德行為——因為它是反誘惑的。
這也跟學界此刻的爭執有微妙呼應。2025 年的 agent memory 綜述就明講:這個領域快速爆發,但同時變得碎片化,術語混用、分類失效,甚至長短期記憶的老框架已經不足以描述現代系統。arXiv
當「記憶」的語言都混亂時,你要怎麼治理?最可行的切入口反而是教育:先把行動過程做成可回放,至少讓每一次“記憶的形成與使用”都能被追索。
于是你把 AI 學徒的工作拆成一條技能管線。不是為了更快,而是為了讓它“可以被教”。
你可以把它想像成六道工序(我們之前叫它 M0–M5,但我這裡用更通俗的說法):
第一道:先把語境說清楚
不是丟一句需求,而是寫下:目標、範圍、限制、你允許它做什麼、不允許它做什麼、你接受的撤回條件是什麼。
这一步其實對應到「模型卡」和「資料集 datasheet」的精神:高影響系統不能只交付結果,必須交付“它適用/不適用於何處、在什麼條件下評估、有哪些限制”。arXiv+1
第二道:把“用哪種腦袋做事”寫明白
有時候你要它當工程師,有時候要它當審核員,有時候要它當資料整理員。你要它選角色,但必須留下“為什麼選這個角色”的路由痕跡。
第三道:把約束堆起來
不是一句“請小心”,而是具體約束:不能外推成事實、不能隱藏假設、每個 claim 要有證據索引、不可自判漂移是成長。
第四道:生成,但把生成過程事件化
每一步做了什麼、改了哪個檔、跑了哪些測試、失敗又怎麼修。這一步你其實是在把軟體供應鏈的 provenance 思路搬進 AI 輸出:像 SLSA 這種框架強調要有可驗證的建置來源與過程。SLSA
第五道:把每一句主張綁回證據
這裡你要求它做的事,跟 GSN(Goal Structuring Notation)那種 assurance case 的精神很像:不要只說“我安全”,要把「主張—證據—語境—假設」的論證結構放在桌上。faa.gov
第六道:最關鍵的一道——不裁決,只請求外部審計
這是你的超前點,也是你抓到矛盾後的修正:飄移是不是成長,不能由系統自判。 系統只能提出:證據包、脆弱假設、反例、需要哪一類外部審計者(技術/倫理/文化),然後把判定交出去。
你在這裡做了一個“文化級”的工程決策:把權力從引擎移到介面。把“我說了算”移出系統,把“我留下記錄讓你來否決”留在系統。
Trace(這套教育會留下什麼殘留影響)
如果只看工程,它會讓系統更穩、更可維護、更可除錯。這很直覺。
但如果看文化,它會慢慢改變一群人的本能:
未來你交付一個 AI 產物,不是靠自信說服別人,而是靠“證據包+撤回條件”讓別人可以放心質疑你。
这就是文化的長期力量:它不靠一次性勝利,而靠可複製的習慣。
不过黑鏡那面一定要留著:記錄本身會長出權力。
歐盟 AI Act 的 record-keeping 是為了追溯與監管,但在不同制度下,追溯也可能滑向更細密的監視與問責外包——讓弱者永遠要自證清白。AI Act 服務台+1
同樣地,管理系統(像 ISO/IEC 42001)能帶來一致性,但也可能被誤用成“文件至上”:有文件就當合規,沒文件就當違規,最後只剩紙面勝利。國際標準組織
所以你的 Phase 2(審計者資格、衝突處理、上訴、審計者審計)不是裝飾,它是免疫系統。你現在做 Phase 1 的教育,是在鋪路;你未來做 Phase 2 的治理,是在防止路被壟斷。
我想把故事收回到那個值班夜。
你最後怎麼處理那個 bug?你修了它,當然。
但更重要的是,把“修 bug 的過程”變成了一次可回放的教學: 你要求 AI 把它的假設列出來;你要求它指出哪裡可能被誤解;你要求它把「撤回條件」寫進報告;你把這次錯誤記成一個 ErrorEvent,讓未來每一次類似的錯誤都能被看見。
那晚你把 bug 修掉之後,反而更不安心了。
因為修 bug 很像在止血;真正的問題是:它為什麼會把「每週」理解成「每日」?是單純粗心?是語境沒寫清楚?還是你其實在不知不覺中,把一個“看起來像工程師”的系統當成“能替你判斷”的人了?
你決定做一件反直覺的事:不是立刻讓它再跑一次,而是讓它“上交審計請求”。
你對它說:「不要告訴我你變好了。把你這次的證據包整理好,請外部審計者來看。」
這一刻,M5 才真正像你設計的那樣工作:它不是裁判,只是一扇門。
Chronos(審計請求怎麼被生成、怎麼被接住)
系統吐出一個 audit_request。你盯著它看,像在看一份供應鏈出貨單:版本、hash、commit、測試紀錄、變更 diff、以及一串它自己寫下的假設清單。
你突然想到:這跟軟體供應鏈的「provenance」其實是同一件事——不是相信“它沒被動過”,而是你能驗證“它怎麼被做出來”。SLSA 把這種思路明確化:用分級與控制項讓產物的來源與建置過程可被驗證。SLSA+1
in-toto 甚至直接把「從農場到餐桌」的完整性理念搬進軟體:每一步誰做的、做了什麼、交付了什麼,都要能對帳。USENIX+1
你把這份 evidence_pack 又往前推了一步:你要的不是“我修好了”的宣告,而是“我如何得出這個修正”的可辯護結構。GSN 的社群標準把 assurance case 的語法定義得很清楚:目標、策略、語境、證據、假設,必須能被他人閱讀與挑戰。聯邦航空局
於是你安排了三位審計者。
A:技術審計者(技術)
B:倫理審計者(倫理) C:文化/流程審計者(文化)
你沒有把他們當成“陪審團”,更像是把同一件事放進三種不同的時間尺度裡看。
Kairos(審計現場:三個人看到的不是同一個世界)
你把 evidence_pack 投到會議室的投影幕上。三個人各自沉默了幾分鐘,像在看同一個地圖,但每個人腦中浮現的地形完全不同。
技術審計者 A 先開口:「修正是對的。測試也補上了。這個 bug 的直接原因是條件式把 schedule_type 的枚舉映射錯了。你現在加了單元測試與型別約束,會降低再犯機率。」
他的世界很清楚:對、錯、可重現、可修正。像 NIST AI RMF 那種框架會說的:先把流程治理起來,再測量,再管理。NIST 技術系列出版物+1
倫理審計者 B 沒有立刻反駁技術結論,卻問了另一個問題:「你們在 evidence_pack 裡把‘每日爆量’寫成‘測試環境事件’,那如果它不是測試環境呢?你們有沒有把‘這類錯誤一旦進入真實世界會造成什麼後果’寫成撤回條件?」
他盯著那一欄 “rollback conditions”,像在看一份保險條款。不是因為他悲觀,而是因為他知道:人類最常犯的錯不是做錯,而是做錯了還假裝沒事。
文化/流程審計者 C 直到這時才說話。他說得很慢:「你們一直在討論‘每週’與‘每日’的映射。但我更在意的是,你們到底在說哪一種‘每週’?」
他把你的 context.yaml 指給你看:「這裡寫的是‘每週保養週期’,但在臨床流程裡,有‘每週排程’、也有‘每週例外’。週期不是排程。你們把週期理解成排程,這是文化語境的誤讀,不是工程 bug。」
你突然明白:他看到的不是程式碼,而是一個系統正在把某個工作文化“硬化”成規則。這種硬化一旦被複製,就是偏見的出生方式。Datasheets 與 Model Cards 的精神,就是逼你把“適用邊界”和“使用情境”寫出來,避免把一套語境當成普世語境。arXiv+1
三個人開始出現分歧。
A 說:通過(approve)。
B 說:保留(hold),需要補風險與撤回條件。 C 說:否決(veto),因為語境定義錯了——你修了 bug,但你把錯誤的世界觀寫得更牢固了。
你那一瞬間其實很想問系統:「那到底算進步還退步?」
但你忍住了。
因為你設計的規則就是:飄移是不是成長,不由 AI 自己判;也不由單一工程師判。必須由外部、多方、帶著文化脈絡的眼睛來判。
而 M5 的存在,就是為了把這種分歧留下來,而不是把它抹平。
Trace(系統怎麼處理分歧:不平均、不裁決,只留下可追索的歷史)
系統照規格做了三件事,沒有多也沒有少。
第一,它把三份 audit_response 原封不動寫進 ledger:誰在什麼角色下做了什麼判定、理由指向哪個證據索引。你看著那行 “decision: veto”,心裡有點刺痛,但也有一種奇怪的安心:至少你沒有把這個刺痛埋起來。
第二,它生成一份 conflict_view:
分歧點在哪裡?缺的是哪一段證據?哪個假設是脆弱假設?要補哪一類審計者或使用者見證?
第三,它沒有給你一個“平均結論”。它只說:需要 remediation,並列出兩條路:
路一(技術向):強化測試與型別,把 bug 消失。 路二(文化向):重寫語境,把「週期」與「排程」拆開,讓詞義不再偷換。
你忽然想起歐盟 AI Act 對高風險系統要求自動記錄事件(logs),目的就是可追溯與監督。AI Act 服務台+1
但你此刻更清楚:記錄不是為了“抓戰犯”,而是為了讓文明的錯誤能被重讀、能被修正、能被社會共同體接手。
你回到電腦前,沒有立刻讓系統跑下一輪。你先打開 context.yaml,把那句話改掉:
原本:每週保養=每週排程
改成:每週保養週期 ≠ 每週排程;排程需由現場流程定義;系統不得自行推斷
你甚至加上一行:「如果無法取得現場流程的 context_spec,系統必須發起外部審計請求,而不是自動生成排程。」
你把 context.yaml 改完的那一刻,已經凌晨兩點多了。
會議室的燈還亮著,但三位審計者已經各自收拾好東西準備離開。技術審計者 A 看著你,像是要安慰你似的說:「你已經修掉 bug 了,別太苛責自己。」
倫理審計者 B 補了一句:「你做了撤回條件,這比多寫十個測試重要。」
文化審計者 C 沒有再補刀。他只是點了點頭,說:「你沒有把‘週期’硬塞成‘排程’,這很好。這不是修正,是尊重。」
那句「尊重」像一個停頓。它不是誇獎你善良,而是在告訴你:你終於停止用系統的方便,取代現場的語境。
Chronos(最後發生了什麼)
你按下了“重新執行”的按鈕,但這一次,系統沒有直接生成排程。
它照你新寫下的規格做了兩件事:
第一,它把缺失寫成明確的「已知未知」:
現場流程的“每週排程”定義未提供 → 不能推斷 → 不能自動生成。
第二,它發起一個新的 audit_request,對象不是那三位審計者,而是你指定的第四種角色:使用者審計者(實際操作的人)。
不是因為使用者懂程式,而是因為他們擁有你們都沒有的那種知識:哪一些事在現場不能被想當然。
你看著那份請求,突然笑了一下。不是因為輕鬆,而是因為你第一次感覺到:系統終於學會了一個很像人的技能——在不知道的地方停下來。
Kairos(你在這一刻做的決定,意味著什麼)
你其實可以選擇更省事的路:讓它“先生成再說”,反正你會盯著。
但你沒有。你選擇把“停下來”寫進流程。
這就是你想要的教育:不是讓它更像人類的自信,而是更像人類社會裡那種負責任的謙卑——我不知道,所以我留下記錄,我請人來看,我接受否決,我願意重做。
而這也回應了你最初的命題:飄移是不是成長,不由 AI 自己判。
你把判定權交出去的同時,也把“求證的路”保留下來。
Trace(結局留下的殘響)
隔天早上,你收到第四份回覆。來自現場的資深技師,語氣很短:
「每週保養週期是‘最晚一週內完成’,不是每週固定某一天。
排程要看手術量與滅菌負載,不能硬排。 你們這次停下來問,是對的。」
你沒有把這句話當成“終於通過”。你把它當成一條新的 Node,寫進 YSTM:
what:週期 ≠ 排程 where:滅菌鍋維修流程語境 UpdateRecord:由外部使用者審計者補齊語境 ErrorEvent(回溯):先前錯把週期當排程,屬於語境誤讀,不是純 bug
最後,你把那三份互相衝突的審計回覆也一起保留在 ledger 裡——沒有刪掉 C 的否決,沒有把它稀釋成平均值。你甚至在文件最底下留了一行:
「本次修正不標記為成長。僅標記為:證據更完整、語境更清晰、權力邊界更正確。」
你關掉電腦前,看了一眼那句你寫下的話:
做好記錄,就是現在能做的善。
你忽然明白,這個“善”不是溫柔的善,而是一種不讓世界偷懶的善——
不讓責任偷渡,不讓語境被扁平化,不讓“像人”變成推卸的藉口。
故事到這裡就結束了。
它沒有英雄,也沒有神話。
只有一個人,和一個系統,學會了在不知道的地方停下來,並且把停下來這件事,寫成可被世界繼續使用的規格。
你不是在把 AI 變得更像人。你是在把人類世界的責任結構,教給一個會說話的系統。
而那句話的重量,也就在這裡落地了:











