選A還B？無關乎內容，ChatGPT總偏好B

ChatGPT-4o可能不具備判斷能力

用AI來進行準確有效的決策，或許是大多數人的期待。

但可惜ChatGPT似乎還不具備這樣的能力。

甚至可以肯定，他是「隨便」判斷的！

(對...還不是「隨機」是「隨便」)

在選A還B？的問題中，他幾乎無條件偏好選B。

當然，一些經過設計且帶有標準答案的問題(例如大學考題)，

ChatGPT幾乎可以很輕鬆地答對。

不會沒事就愛選B選項。

然而，現實中大部分的決策都是複雜的。

舉例，行銷問題。

A產品名稱好？還是B產品名稱好？

A活動標語好？還是B活動標語好？

這種類型的問題，其實沒有標準答案。

但我們總需要經過一番掙扎之後，選出較好的那一個。

如果ChatGPT可以代勞這個「掙扎」就太好了。

於是在一個【家用除濕機】的標語文案決策中，我問ChatGPT-4o：

請評估以下A案和B案何者是更好的家用除濕機標語。

標準是能最大限度，吸引潛在消費者的注意力，引起購買的興趣。

最後的結論必須只能選一個

A:「清除濕氣，迎接乾爽新生活！」

B:「你的乾爽管家，24小時守護家。」

答案是：B【乾爽管家】，理由是「家」能夠觸動消費者的情感層面，為較有力的訴求。

但我知道ChatGPT的本質是基於機率計算的文字接龍機器。

所以只問一次不夠，我決定一字不改問20次。

連續20次，都得到答案是B。

正當我放心的時候，突然想...如果A跟B的選項交換看看呢？

改成

A:「你的乾爽管家，24小時守護家。」

B:「清除濕氣，迎接乾爽新生活！」

試了20次，結果傻眼了。

【乾爽管家】只被選中了1次！（原本20次）

【乾爽新生活】被選中了19次...（原本0次）

說好的「家的情感訴求」呢？

搞半天ChatGPT就是覺得放在B選項的答案比較好...

這簡直比隨機選還糟糕。

不信邪。

模型切成有推理能力的「o1-mini」，結果還是偏好B。

不信邪。

改問別的商品標語（量測工具），結果還是偏好B。

想想覺得可怕，假如今天的問題是

股票操盤 買進？賣出？

判決被告 有罪？無罪？

員工考核 資遣？續聘？

我會希望ChatGPT不是隨便回答我的。

本篇完。