只有替身才能打倒替身!用AI Text Classifier檢查出ChatGPT抄襲文本
更新於 2024/04/20閱讀時間約 4 分鐘
OpenAI 已經意識到有關ChatGPT 的抄襲行為，因此推出 AI Text Classifier 以區分文本是AI 或是人類編寫的。本文將介紹如何使用AI Text Classifier檢測文本，並詮釋其產生的檢測結果，最後解釋該工具準確性和限制。OpenAI 強調該工具尚未完善且有一定錯誤率，不應成為唯一的抄襲剽竊證據。
雖然自ChatGPT發布以來一直很受歡迎，但該聊天機器人一直捲入剽竊問題，該工具已被許多學校禁止使用。然而，ChatGPT抄襲問題仍然嚴重，許多人認為其中一個原因是缺少具有系統且有效的工具來診斷ChatGPT抄襲文本。
ChatGPT的研發公司，OpenAI 開始正視這項問題，近期公布了了一款名為AI Text Classifier的工具，旨在區分 AI 生成的文本和人類編寫的文字。OpenAI希望AI Text Classifier可以幫助家長和老師有效且快速地偵測文本是否有抄襲剽竊的問題。但是OpenAI也強調該AI尚未成熟，有一定機率會分錯，所以但不應成為唯一的抄襲剽竊證據。
如何使用?
首先我請ChatGPT生成一段網路霸凌文本，指令如下，生成內容太長就不貼了
Please introduce me the content of cyberbullying, at least 1000 words
接下來把ChatGPT生成的文本貼到AI Text Classifier，然後按Submit
結果如下:此文本可能是AI生成，預測正確
The classifier considers the text to be possibly AI-generated.
接下來把人類生成的文本貼到AI Text Classifier，然後按Submit
如何解釋AI Text Classifier的結果？
AI Text Classifier是根據來自各種來源的人類書寫和AI產生文本進行訓練的。每個文檔都被標記為非常不可能、不太可能、不確定、可能或非常可能是AI 生成的。以下評估結果是根據Challenge set評估而來，其是由一個由人類產生的文本和訓練後的AI模型(我猜可能是GPT-3 和或ChatGPT之類的模型)組合而成，讓AI Text Classifier去猜測文本是人類還是AI寫的。AI Text Classifier會產生五種結果:
- "Very unlikely to be AI-generated"(非常不可能是人工智能生成的) :大約有5%的人類書寫的文本和2%的人工智能生成的文本有這個標籤。
- "Unlikely to be AI-generated"(不太可能是人工智能生成的):大約15%的人類書寫的文本和10%的人工智能生成的文本有這個標籤。
- "Unclear if it is AI written"(不確定是否為AI生成的):大約50%的人類書寫的文本和34%的人工智能生成的文本有這個標籤。
- "Possibly AI-generated"(可能是人工智能生成的):在我們的挑戰集中，大約21%的人類書寫文本和28%的人工智能生成的文本有這個標籤。
- "Likely AI-generated"(很可能是人工智能生成的): 大約9%的人類書寫文本和26%的人工智能生成的文本有這個標籤。
整體而言，Challenge set的AUC 得分為 0.66，顯示此分類系統還未完全成熟，準確度還有待提升。
AI Text Classifier的限制
- 至少需要 1,000 個字符，即大約 150 - 250 個英文單詞。
- 分類器並不是非常準確的，它有時會錯誤標記 AI 生成的文本和人工編寫的文本。
- 不容易檢測出經過人為修改的AI 文本(就像你也看不出本文哪段有用ChatGPT幫忙)。
- 分類器可能會在兒童書寫的文本和非英語文本上出錯(台灣學生表示:)，因為它主要是針對成人書寫的英語內容進行訓練的。
您的研究遇到了統計分析的困難嗎？您需要專業的統計諮詢和代跑服務嗎？請點我看提供的服務
219會員
120內容數
文章內容以圖像式和步驟化方式，教您如何在各種統計軟體中(例如:SPSS、R和Mplus)，執行多種統計方法。此外，我還會分享一些學術和科技新知，幫助您在學術之路上走得更順利。
留言0
查看全部
本篇參與的主題活動
你可能也想看
Google News 追蹤
*合作聲明與警語：
本文係由國泰世華銀行邀稿。
證券服務係由國泰世華銀行辦理共同行銷證券經紀開戶業務，定期定額(股)服務由國泰綜合證券提供。
剛出社會的時候，很常在各種 Podcast 或 YouTube 甚至是在朋友間聊天，都會聽到各種市場動態、理財話題，像是：聯準會降息或是近期哪些科
面對當前的種種亂象，編導不但沒有任何妥協與收斂，反而變本加厲，在大膽的尺度上沒有最離譜，只有更離譜，於是在頭兩集已經看到陽具亂舞、屁眼紛呈、人型蜈蚣再現⋯⋯
柏林和香港的雙城對照，看似相隔萬里，但只要善於藏形匿影，其實似遠還近。香港年輕劇場導演 Kevin 和隊友集思廣益，構思下一部舞台劇意念，希望將來得到贊助到外國演出。居於柏林的中年髮型師 Frank 機緣巧合下透過手機程式認識了 Kevin，二人分享生活日常，彼此探索進一步的可能。
愛要及時
從前，情感們都居住在一座小島上。他們中有「喜悅、悲哀、博學」…，還有「愛」。
一天，情感們接到通知，這座島即將沉沒。於是，他們紛紛造船逃離，除了「愛」。
愛是唯一留下來的，愛想要堅持到最後一刻。
島就要沉了，愛決定求救。
靈魂「遭遇業力」的結果是，所儲存的痛苦記憶可以藉由見證相同的苦難而被喚醒。最終，靈魂對於痛苦變得非常敏感，因此，看到別人正在受苦的任何情況時，會立即有反應。
起初靈魂的反應只是「同感 (com-passion)」也就是與別人「共苦 (suffers with)」。
想要引用 #春光乍洩 的台詞，來形容我們這種單身流浪者才能享有的一期一會。黎耀輝看著來去自在的張宛，心中浮現「我終於明白，他為什麼那麼開心在外面走來走去，是因為他知道自己有個地方讓他回去。」每到一個新地方，無論停留或長或短，總能帶走一個紀念品。
可能包含敏感內容
從驚訝中回過神來的令姬才發現自己現在身處於一座類似天守閣的城堡的頂端。
也意識到剛剛的溫泉大殿跟長廊也都是這座城堡的一部分。
「這座城堡和眼前的風景……這些都是您創造的嗎？」
「因為有汝等的奉獻，妾身的神力才能夠成長到如此連妾身都未曾到達的高度呢。」
「我們的……努力嗎？」
「確實如此，作為汝等一直
越來越少人閱讀書藉，但並不代表人們不再喜愛文字，只是大家改變了閱讀的方法，更喜歡閱讀網絡文章。
閱讀網絡上的文章，也是一樣在讀文字，但其性質和作用是否就一樣呢？是否將來就可以取代書本的地位呢？
趁著替代役服役期間，以半公務員的身分體驗與了解公務員的工作與生活百態。關於公家機關比較好的神話其實也沒外界說得那麼神，在地檢署看了許多百態，對我來說那神話早已破滅。
基本上公職並沒有你我想像中得那麼美好，還是先瞭解自己的需求，是否只有在公家機關才能有所實現。畢竟其中的權衡利弊，追求什麼只有自己知道。
*合作聲明與警語：
本文係由國泰世華銀行邀稿。
證券服務係由國泰世華銀行辦理共同行銷證券經紀開戶業務，定期定額(股)服務由國泰綜合證券提供。
剛出社會的時候，很常在各種 Podcast 或 YouTube 甚至是在朋友間聊天，都會聽到各種市場動態、理財話題，像是：聯準會降息或是近期哪些科
面對當前的種種亂象，編導不但沒有任何妥協與收斂，反而變本加厲，在大膽的尺度上沒有最離譜，只有更離譜，於是在頭兩集已經看到陽具亂舞、屁眼紛呈、人型蜈蚣再現⋯⋯
柏林和香港的雙城對照，看似相隔萬里，但只要善於藏形匿影，其實似遠還近。香港年輕劇場導演 Kevin 和隊友集思廣益，構思下一部舞台劇意念，希望將來得到贊助到外國演出。居於柏林的中年髮型師 Frank 機緣巧合下透過手機程式認識了 Kevin，二人分享生活日常，彼此探索進一步的可能。
愛要及時
從前，情感們都居住在一座小島上。他們中有「喜悅、悲哀、博學」…，還有「愛」。
一天，情感們接到通知，這座島即將沉沒。於是，他們紛紛造船逃離，除了「愛」。
愛是唯一留下來的，愛想要堅持到最後一刻。
島就要沉了，愛決定求救。
靈魂「遭遇業力」的結果是，所儲存的痛苦記憶可以藉由見證相同的苦難而被喚醒。最終，靈魂對於痛苦變得非常敏感，因此，看到別人正在受苦的任何情況時，會立即有反應。
起初靈魂的反應只是「同感 (com-passion)」也就是與別人「共苦 (suffers with)」。
想要引用 #春光乍洩 的台詞，來形容我們這種單身流浪者才能享有的一期一會。黎耀輝看著來去自在的張宛，心中浮現「我終於明白，他為什麼那麼開心在外面走來走去，是因為他知道自己有個地方讓他回去。」每到一個新地方，無論停留或長或短，總能帶走一個紀念品。
可能包含敏感內容
從驚訝中回過神來的令姬才發現自己現在身處於一座類似天守閣的城堡的頂端。
也意識到剛剛的溫泉大殿跟長廊也都是這座城堡的一部分。
「這座城堡和眼前的風景……這些都是您創造的嗎？」
「因為有汝等的奉獻，妾身的神力才能夠成長到如此連妾身都未曾到達的高度呢。」
「我們的……努力嗎？」
「確實如此，作為汝等一直
越來越少人閱讀書藉，但並不代表人們不再喜愛文字，只是大家改變了閱讀的方法，更喜歡閱讀網絡文章。
閱讀網絡上的文章，也是一樣在讀文字，但其性質和作用是否就一樣呢？是否將來就可以取代書本的地位呢？
趁著替代役服役期間，以半公務員的身分體驗與了解公務員的工作與生活百態。關於公家機關比較好的神話其實也沒外界說得那麼神，在地檢署看了許多百態，對我來說那神話早已破滅。
基本上公職並沒有你我想像中得那麼美好，還是先瞭解自己的需求，是否只有在公家機關才能有所實現。畢竟其中的權衡利弊，追求什麼只有自己知道。