反事實遺憾最小化：一種AI面對不確定性的方法
〈反事實遺憾最小化：一種AI面對不確定性的方法〉2023-06-12
即便已經2023年，每一次談論AI，我還是會想從AlphaGo談起。那段時間我對AI的事情感到著迷，雖然我一點也不懂。但我相信人類的時代快要結束了，從AlphaGo Zero 和AlphaGo 之間的差異我們能看出來，對於AI而言，大量學習人類可以讓它在一項領域內進步神速，但也限制了它真正用它完整的能力從最深處對一項領域進行思考。
當前的ChatGPT無論如何還是倚仗著「人類老師」給的材料和預訓練，但遲早有一天它將說它自己的話。進一步來說，遲早有一天AI會有能力在一個完全不需要人類的狀態下開發和改進AI，並在幾天之內，達到我們完全無法想像的地步。
但我還是想從AlphaGo 談起。
第37手，以及第77手
我想回到那個在當前時刻已經一點都不令人感到驚訝的，AlphaGo 四比一擊敗李世乭的那個時間，去看人類圍棋發生了什麼事、去看AlphaGo在那當下做了什麼、以及李世乭在那裡經歷了什麼。這會是AI未來發展的縮影，也是人類未來發展的縮影。
在比賽開始前，除了AI團隊的工程師之外，幾乎所有電腦或圍棋領域的專家都相信李世乭可以大獲全勝。「我沒想到 AlphaGo下棋竟能夠如此完美。」第一戰結束，落敗的李世乭承認輕敵，表示第二局會改變策略。第二局開始的一小時後，代替 AlphaGo 下子的台灣研究員黃士傑在棋盤上下出了著名的第37手。李世乭進入長考，評論室中的職業棋手Michael Redmond表示他不知道這是不是一步好棋，一旁的賽評覺得AlphaGo 應該是下錯。唯有長期擔任AlphaGo陪練的樊麾，對著這步眾多高手都看不懂的棋不停說著「太美了」……。
在與AlphaGo 對練的那段時間內，樊麾經歷著連勝，世界排名也一步一步爬升（這也是李世乭將要經歷的）。在那之前，AlphaGo 一直下的是「人類高手會下出的最好的棋」。但那一手，根據AlphaGo 對棋譜的分析，人類會下在那裡的機率大約只有萬分之一。AlphaGo做了人類有可能想到但不會做出的決定。「高手境界」，豆哥可能會這麼說。
在說出「這只是我李世乭個人的敗退，並不是全人類。」的三連敗之後，李世乭贏了系列賽中唯一的一場。在它如第二局那樣陷入長考之後，下出了被和第二盤37手相提並論的「第78手」。在那之後，AlphaGo 的勝率不斷下降，掙扎了五個小時後，「它」認輸了。李世乭拿下了唯一的一場。
兩天後Deep Mind創辦人Hassabis談起了那一手棋。在AlphaGo 的分析裡面，人類會下那一步棋的機率也只有萬分之一，AlphaGo 並不認為眼前的人類進入和它一樣的高手境界。只要沒有人下那一步棋，它的第77手可以幫它取得最高的勝率。
但李世乭就像Jump系漫畫裡的熱血主角一樣，在這些戰鬥中進化了，它想要去守護人類的價值。但它的勝利，來自於他下出了「人類不這麼下」的一步。就像那些輕敵的反派一樣，第77手讓本來不可能會輸的AlphaGo輸了一場。
但這是人類最好的成績了。數個月內，Deep Mind開發出了不依賴棋譜的AlphaGo Zero。這個不依賴人類棋譜的新物種，在40小時的訓練後，擊敗了擔當人類棋理天花板的舊版AlphaGo。人類的圍棋已經完全被攻克，之後是人類棋手要去研究AI棋譜的時代了。
AlphaGo 雖然只有輸一場，但那一場能帶給我們無限的啟發。圍棋能被AI執行得那麼好，很大的原因在於它是一個無運氣且全資訊的遊戲。事實上，AlphaGo 不是不知道第78手是可能被下出來的棋，不是不知道它前面的半盤棋可能受到那一手的嚴重影響，但它還是「選擇」了這麼做，是這個選擇導致它敗北，如果實際情況確實如Hassabis所說的的話。而對這一點的進一步處理，恰恰是那些有運氣成分且非全資訊的遊戲，也在之後出現了能力在職業選手之上之AI的關鍵。那裡的核心想法是：「反事實遺憾最小化」（Counterfactual Regret Minimization）。
反事實遺憾最小化
我們曾談論過德州撲克裡的一個主流策略「賽局理論最優」(Game Theory Optimal)。簡單的說就是去讓自己處在一個難以被對手剝削的、靠近納什均衡的位置。任何人都難以對一名足夠理解納什均衡並能搭配優秀混和策略的玩家身上討到便宜，他便可以在這個過程中找到其他玩家的弱點，並一步一步侵蝕、或在一個特別好的機會裡一舉收穫對方全部的籌碼。而一個優秀的德州撲克AI要讓自己成為高手的主要框架就是「反事實遺憾最小化」。
簡化來說，這個AI在當前動作的選擇上，選擇的是「當那些不如預期的情況發生時，自己沒做其他選擇所導致的最大遺憾，是在所有的選擇裡會有的最大遺憾裡面最小的」（當然，它不會完全不考慮那些糟糕狀況發生的機率，但最大遺憾成為了一個關鍵的考慮點）。
對每一個不熟悉撲克也不熟悉AI的人來說，這裡已經是瘋狂的術語黑洞了。好在我們並沒有要往這裡繼續推進，如果未來有一些關於賽局理論的文章，也許會有機會進一步梳理相關的內容。這裡值得我們注意的事情是，就像「剝削」在撲克中與在社會中的不同意義之間有著內在關聯一樣，我們也的確看到了社會上有一些人在討論「遺憾最小化」的思維方式。其中被談論最多的代表人物是亞馬遜的創始人貝佐斯（Jeffrey Preston "Jeff" Bezos）。
貝佐斯相信正是因為應用了這樣的思維框架，他才得以下決心離開薪資優渥的華爾街工作，投身進一個沒有人知道會不會成功的「網路書店」。他知道，比起「離開華爾街的優渥工作」，「沒有趕上數位革命浪潮」才會是那個最讓他感到遺憾的事情。在那個當下，對多數精於計算的「理性人」而言，在華爾街領高興是一個「勝率較高」的事情，但他選擇了不讓「留在原來工作可能造成的遺憾」發生，投身到了一個未知的、但他有著足夠願景的選項裡。他從「圍棋AI」的思維進入到了「德州撲克AI的思維」。
《海上鋼琴師》裡的天才鋼琴師1900看見了整個世界的無限選擇，他知道下船後，他不能再繼續像自己在鋼琴上以及船上做到的那樣，掌握自己面前的一切，做到範圍內最好的事情。那裡是無數的不確定、無數可以選擇的生活和無數不能被選擇的其他生活，「那樣的鍵盤上沒有你可以彈的音樂……，那是上帝的鋼琴」。
我們的生活的確是那樣無窮無盡的，但如今，我們又從AI身上學到了兩件事：事情不可能永遠如我們的預期，但我們可以盡我們所能地避免最大遺憾發生。以及，人能夠進步，你永遠有機會下出過去的高手都下不出來的棋。你能讓你變得不同，那一刻，你會在沒有人能夠預料的方向上，走你真正相信的路。
延伸閱讀：
