今年二月,第一次嘗試人工智慧聊天機器人ChatGPT 嘗試UPSC(被廣泛認為是世界上最難考試之一)時,它慘遭失敗。ChatGPT 無法通過UPSC 預賽,使許多人為自己感到驕傲。
但是,自從我們做了這個故事以來,人工智慧世界發生了許多新的更新和發展。最值得注意的是,OpenAI發布了GPT4,這是迄今為止最先進的大型語言模型(LLM)。
ChatGPT的先前版本由GPT3.5提供支持,幾個月前,OpenAI透過ChatGPT Plus訪問GPT-4 。
再次對GPT4進行了相同的實驗,但這次,我們向GPT-100 提出了相同的4 個問題,這次,它答對了86 個問題。
雖然前一年(2021 年)的截止值為87.54 分,但僅考慮試卷1,GPT-4 得分為162.76 分,這意味著ChatGPT Plus(由GPT-4 提供支援)通過了UPSC。
在先前的實驗中,ChatGPT 給了46 個錯誤的答案,從這個角度來看,我們看到GPT-4 有了巨大的改進,因為它只答錯了14 個答案。話雖如此,這也不是完全出乎意料的事情。
OpenAI在發布GPT-4的技術論文時,沒有提到任何關於架構(包括模型大小)、硬體、訓練計算、資料集建構、訓練方法等信息,引起了研究人員的軒然。
但有趣的是,OpenAI確實透露,他們在各種基準測試上測試了GPT-4,包括模擬最初為人類設計的考試。
在技術論文中,OpenAI也指出,GPT-4在大多數測驗考試中的表現優於GPT-3.5(ChatGPT)。因此,GPT-4 在UPSC 中的得分高於ChatGPT 也就不足為奇了。
此外,重要的是要注意,這只是一個有趣的實驗,不應該根據這些結果做出具體的判斷。
雖然GPT-4 通過了GRE 和LSAT 等考試,但它在英國文學中失敗了。同樣,ChatGPT 儘管擁有世界上所有的知識,但在為六年級學生設計的考試中失敗了。
最後,同樣重要的是要注意,透過更改查詢,我們可以提示GPT-4 得出準確的回應。這意味著在某些情況下,改寫相同的問題可能會導致GPT-4 提供正確的答案,反之亦然。但是,在實驗中,只考慮了機器人的初始反應。