只有替身才能打倒替身!用AI Text Classifier檢查出ChatGPT抄襲文本
2023/02/03閱讀時間約 4 分鐘
OpenAI 已經意識到有關ChatGPT 的抄襲行為，因此推出 AI Text Classifier 以區分文本是AI 或是人類編寫的。本文將介紹如何使用AI Text Classifier檢測文本，並詮釋其產生的檢測結果，最後解釋該工具準確性和限制。OpenAI 強調該工具尚未完善且有一定錯誤率，不應成為唯一的抄襲剽竊證據。
雖然自ChatGPT發布以來一直很受歡迎，但該聊天機器人一直捲入剽竊問題，該工具已被許多學校禁止使用。然而，ChatGPT抄襲問題仍然嚴重，許多人認為其中一個原因是缺少具有系統且有效的工具來診斷ChatGPT抄襲文本。
ChatGPT的研發公司，OpenAI 開始正視這項問題，近期公布了了一款名為AI Text Classifier的工具，旨在區分 AI 生成的文本和人類編寫的文字。OpenAI希望AI Text Classifier可以幫助家長和老師有效且快速地偵測文本是否有抄襲剽竊的問題。但是OpenAI也強調該AI尚未成熟，有一定機率會分錯，所以但不應成為唯一的抄襲剽竊證據。
如何使用?
首先我請ChatGPT生成一段網路霸凌文本，指令如下，生成內容太長就不貼了
Please introduce me the content of cyberbullying, at least 1000 words
接下來把ChatGPT生成的文本貼到AI Text Classifier，然後按Submit
結果如下:此文本可能是AI生成，預測正確
The classifier considers the text to be possibly AI-generated.
接下來把人類生成的文本貼到AI Text Classifier，然後按Submit
如何解釋AI Text Classifier的結果？
AI Text Classifier是根據來自各種來源的人類書寫和AI產生文本進行訓練的。每個文檔都被標記為非常不可能、不太可能、不確定、可能或非常可能是AI 生成的。以下評估結果是根據Challenge set評估而來，其是由一個由人類產生的文本和訓練後的AI模型(我猜可能是GPT-3 和或ChatGPT之類的模型)組合而成，讓AI Text Classifier去猜測文本是人類還是AI寫的。AI Text Classifier會產生五種結果:
- "Very unlikely to be AI-generated"(非常不可能是人工智能生成的) :大約有5%的人類書寫的文本和2%的人工智能生成的文本有這個標籤。
- "Unlikely to be AI-generated"(不太可能是人工智能生成的):大約15%的人類書寫的文本和10%的人工智能生成的文本有這個標籤。
- "Unclear if it is AI written"(不確定是否為AI生成的):大約50%的人類書寫的文本和34%的人工智能生成的文本有這個標籤。
- "Possibly AI-generated"(可能是人工智能生成的):在我們的挑戰集中，大約21%的人類書寫文本和28%的人工智能生成的文本有這個標籤。
- "Likely AI-generated"(很可能是人工智能生成的): 大約9%的人類書寫文本和26%的人工智能生成的文本有這個標籤。
整體而言，Challenge set的AUC 得分為 0.66，顯示此分類系統還未完全成熟，準確度還有待提升。
AI Text Classifier的限制
- 至少需要 1,000 個字符，即大約 150 - 250 個英文單詞。
- 分類器並不是非常準確的，它有時會錯誤標記 AI 生成的文本和人工編寫的文本。
- 不容易檢測出經過人為修改的AI 文本(就像你也看不出本文哪段有用ChatGPT幫忙)。
- 分類器可能會在兒童書寫的文本和非英語文本上出錯(台灣學生表示:)，因為它主要是針對成人書寫的英語內容進行訓練的。
您的研究遇到了統計分析的困難嗎？您需要專業的統計諮詢和代跑服務嗎？請點我看提供的服務
為什麼會看到廣告
159會員
88內容數
留言0
查看全部
