只有替身才能打倒替身!用AI Text Classifier檢查出ChatGPT抄襲文本

更新於 2025/02/02發佈於 2023/02/03閱讀時間約 4 分鐘

OpenAI 已經意識到有關ChatGPT 的抄襲行為，因此推出 AI Text Classifier 以區分文本是AI 或是人類編寫的。本文將介紹如何使用AI Text Classifier檢測文本，並詮釋其產生的檢測結果，最後解釋該工具準確性和限制。OpenAI 強調該工具尚未完善且有一定錯誤率，不應成為唯一的抄襲剽竊證據。

雖然自ChatGPT發布以來一直很受歡迎，但該聊天機器人一直捲入剽竊問題，該工具已被許多學校禁止使用。然而，ChatGPT抄襲問題仍然嚴重，許多人認為其中一個原因是缺少具有系統且有效的工具來診斷ChatGPT抄襲文本。

ChatGPT的研發公司，OpenAI 開始正視這項問題，近期公布了了一款名為AI Text Classifier的工具，旨在區分 AI 生成的文本和人類編寫的文字。OpenAI希望AI Text Classifier可以幫助家長和老師有效且快速地偵測文本是否有抄襲剽竊的問題。但是OpenAI也強調該AI尚未成熟，有一定機率會分錯，所以但不應成為唯一的抄襲剽竊證據。

只有AI才能打到AI

如何使用?

首先我請ChatGPT生成一段網路霸凌文本，指令如下，生成內容太長就不貼了

Please introduce me the content of cyberbullying, at least 1000 words

接下來把ChatGPT生成的文本貼到AI Text Classifier，然後按Submit

結果如下:此文本可能是AI生成，預測正確

The classifier considers the text to be possibly AI-generated.

接下來把人類生成的文本貼到AI Text Classifier，然後按Submit

如何解釋AI Text Classifier的結果？

AI Text Classifier是根據來自各種來源的人類書寫和AI產生文本進行訓練的。每個文檔都被標記為非常不可能、不太可能、不確定、可能或非常可能是AI 生成的。以下評估結果是根據Challenge set評估而來，其是由一個由人類產生的文本和訓練後的AI模型(我猜可能是GPT-3 和或ChatGPT之類的模型)組合而成，讓AI Text Classifier去猜測文本是人類還是AI寫的。AI Text Classifier會產生五種結果:

"Very unlikely to be AI-generated"(非常不可能是人工智能生成的) :大約有5%的人類書寫的文本和2%的人工智能生成的文本有這個標籤。
"Unlikely to be AI-generated"(不太可能是人工智能生成的):大約15%的人類書寫的文本和10%的人工智能生成的文本有這個標籤。
"Unclear if it is AI written"(不確定是否為AI生成的):大約50%的人類書寫的文本和34%的人工智能生成的文本有這個標籤。
"Possibly AI-generated"(可能是人工智能生成的):在我們的挑戰集中，大約21%的人類書寫文本和28%的人工智能生成的文本有這個標籤。
"Likely AI-generated"(很可能是人工智能生成的): 大約9%的人類書寫文本和26%的人工智能生成的文本有這個標籤。

整體而言，Challenge set的AUC 得分為 0.66，顯示此分類系統還未完全成熟，準確度還有待提升。