OpenAI 已經意識到有關ChatGPT 的抄襲行為,因此推出 AI Text Classifier 以區分文本是AI 或是人類編寫的。本文將介紹如何使用AI Text Classifier檢測文本,並詮釋其產生的檢測結果,最後解釋該工具準確性和限制。OpenAI 強調該工具尚未完善且有一定錯誤率,不應成為唯一的抄襲剽竊證據。
ChatGPT的研發公司,OpenAI 開始正視這項問題,近期公布了了一款名為AI Text Classifier的工具,旨在區分 AI 生成的文本和人類編寫的文字。OpenAI希望AI Text Classifier可以幫助家長和老師有效且快速地偵測文本是否有抄襲剽竊的問題。但是OpenAI也強調該AI尚未成熟,有一定機率會分錯,所以但不應成為唯一的抄襲剽竊證據。
如何使用?
首先我請ChatGPT生成一段網路霸凌文本,指令如下,生成內容太長就不貼了
Please introduce me the content of cyberbullying, at least 1000 words
接下來把ChatGPT生成的文本貼到AI Text Classifier,然後按Submit
結果如下:此文本可能是AI生成,預測正確
The classifier considers the text to be possibly AI-generated.
AI Text Classifier是根據來自各種來源的人類書寫和AI產生文本進行訓練的。每個文檔都被標記為非常不可能、不太可能、不確定、可能或非常可能是AI 生成的。以下評估結果是根據Challenge set評估而來,其是由一個由人類產生的文本和訓練後的AI模型(我猜可能是GPT-3 和或ChatGPT之類的模型)組合而成,讓AI Text Classifier去猜測文本是人類還是AI寫的。AI Text Classifier會產生五種結果:
"Very unlikely to be AI-generated"(非常不可能是人工智能生成的) :大約有5%的人類書寫的文本和2%的人工智能生成的文本有這個標籤。
"Unlikely to be AI-generated"(不太可能是人工智能生成的):大約15%的人類書寫的文本和10%的人工智能生成的文本有這個標籤。
"Unclear if it is AI written"(不確定是否為AI生成的):大約50%的人類書寫的文本和34%的人工智能生成的文本有這個標籤。