那天其實很普通。
會議室裡沒有什麼特別的氣氛，投影幕上是一個看起來很「先進」的系統畫面。
幾個部門的人坐在長桌兩側，有人滑手機，有人低頭看資料，還有人一邊喝咖啡，一邊等著這場「AI 導入說明會」快點結束。
報告的人語氣很輕快。
「這套系統已經可以自動分析資料、給出建議，甚至可以直接幫我們做決策。」
有人點頭，有人皺眉。
「意思是，以後很多事情不用再人工判斷？」
「對，可以自動化，效率會提升很多。」
效率，這兩個字，總是讓人很難反對。
於是討論很快往正面的方向走。
成本下降、速度提升、人力釋放——這些關鍵字在會議室裡來回流動，看起來一切都在往對的方向發展。
直到有人問了一句話。
「那如果它判斷錯呢？」
現場安靜了幾秒。
報告的人笑了一下，很自然地回應：
「我們的模型準確率很高，目前測試結果都不錯。」
這個回答，讓討論又繼續往前走了。
但那個問題，其實沒有被回答。
幾週後，系統正式上線。
一開始，大家都很滿意。
報表自動產出、流程加快、原本需要人力確認的步驟逐漸被省略。
有些決策開始直接由系統建議，有些甚至直接執行。
效率確實提升了。
人也開始習慣。
習慣不再逐一檢查數據，習慣相信系統的判斷，習慣把原本需要經驗與直覺的部分，交給一個看不見的邏輯去處理。
事情開始變得「順」。
順到沒有人再問那個問題。
——如果它判斷錯呢？
問題發生在一個很不起眼的環節。
不是核心流程，不是關鍵決策，而是一個「看起來不太重要」的小任務。
系統依照既定邏輯，做了一個判斷，接著觸發了一連串的動作。
每一步都合理。
每一步都符合規則。
每一步，都沒有被攔下來。
直到結果出現。
有人開始察覺不對勁的時候，事情已經走到下一個階段。
修正變得困難，回溯變得複雜，而最麻煩的是，沒有人能很快說清楚——
到底是哪一步出了問題。
會議再次被召開。
這一次，氣氛不太一樣。
沒有輕鬆的笑聲，也沒有太多對未來的想像。
大家開始一層一層往回看。
資料？
看起來沒問題。
模型？
也沒有明顯異常。
流程？
每一步都照規則執行。
於是有人說：
「系統本身沒有錯。」
這句話聽起來很合理。
但也讓人更不安。
後來，有人又問了那句話。
「如果它判斷錯，我們有什麼機制可以停下來？」
這一次，沒有人馬上回答。
因為答案很清楚——
沒有。
系統被設計來「做事」，
卻沒有被設計來「停手」。
它可以分析，可以判斷，可以執行，
但當事情開始偏離的時候，它不會猶豫，也不會回頭。
它只會繼續。
那次之後，有些東西開始改變。
不是模型，也不是介面。
而是大家看待這件事的方式。
有人開始重新檢視流程，
有人開始思考哪些地方應該讓人重新介入，
也有人開始意識到，真正的問題，從來不在「AI 會不會做事」。
而是在於——
當它做錯的時候，整個系統會發生什麼。
這件事其實不只發生在一家公司。
只是多數時候，問題沒有被放大，
或者還沒有發生到需要被正視的程度。
所以很多討論，仍然停留在能力。
模型多強、資料多大、速度多快。
但有一個問題，仍然被忽略。
不是因為不重要，
而是因為不容易回答。
——如果它做錯了，會發生什麼？
在傳統的工程或製造系統裡，這個問題其實很熟悉。
沒有任何系統被設計成「永遠不會出錯」。
相反地，多數系統的設計，都是建立在一個前提之上：
錯誤一定會發生。
所以會有備援、會有檢查點、會有各種方式去限制錯誤擴散的範圍。
不是為了避免錯誤，
而是為了在錯誤發生時，事情不會失控。
但當 AI 被導入時，這個思維，常常沒有被一起帶進來。
系統變得更聰明，
流程變得更自動化，
但對於「失效」的處理，卻沒有同步升級。
於是，一個新的風險開始出現。
不是單一錯誤，
而是「持續錯誤」。
不是局部影響，
而是「系統性放大」。
那天會議結束時，有人輕聲說了一句話。
「AI 其實沒有問題。」
大家點頭。
「但我們用它的方式，可能有問題。」
這句話沒有被寫進會議紀錄，
也沒有出現在任何簡報裡。
但它留下來了。
或許未來某一天，當更多系統開始讓 AI 直接參與決策與執行時，
這個問題會變得無法再忽略。
到那個時候，討論的重點，可能不再是：
AI 能做什麼。
而是：
當它做錯的時候，
我們準備好了嗎。
