生成式 AI 本來就是一種對指令(提示詞)高度敏感的工具,輸入內容稍作改變,輸出的結果可能就會不同。隨著 OpenAI 對模型進行各種優化,到 GPT-4o 時,用戶體驗上似乎不再需要對輸入的用詞過於精確,也能獲得不錯的回應。
然而,o1-preview 因為會根據初始提示詞進行更深入的思考與推論,讓我覺得它有時會「想太多」或「過度詮釋」。以我經常詢問 AI 的問題為例,我常常會問:「如何提高日翻中的翻譯品質?」
GPT-4o 的回應:它會提到注意上下文和語境、避免直譯、日語句法特性等翻譯技巧(這正是我想要的答案)。
o1-preview 的回應:它則提到了深度理解原文、增進雙語能力、使用專業工具等關於方法論的內容(這並非我想要的回答)。
當然,我的初始提示詞確實比較模糊,「翻譯品質」這個詞本身也就有較多的解釋空間。於是我進一步問 o1-preview:「提高日翻中(繁體)的翻譯品質有什麼具體技術細節?」
結果,o1-preview 的回應涉及了高品質的平行語料庫、資料預處理、模型選擇與優化等資訊工程方面的技術細節(似乎對「技術細節」這個詞反應過度了?)。
我嘗試了其他問法,比如「翻譯方法」、「翻譯手法」,結果都不太理想。直到我改問「翻譯技巧」,o1-preview 才給出類似 GPT-4o 的回答。(這才讓我恍然大悟,原來我想問的是「翻譯技巧」!)
這讓我感覺,o1-preview 的「推論」能力在某些情況下會放大提示詞中的瑕疵,導致模型朝著非預期的方向走得更遠。(俗稱離題)
這似乎從某個角度印證了「為什麼高學歷或高智商的人在職場表現有時不如預期?」。原因可能是職場溝通重視的是「快速」且依賴許多「不言自明」的背景知識,而高學歷或高智商的人容易過度詮釋字面意思,導致產出結果有些鑽牛角尖,直到他有一天「開悟」學會了「得意而忘言」。
(【002號】原文發佈於2024/9/20 觸及人數:315)