只有替身才能打倒替身!用AI Text Classifier檢查出ChatGPT抄襲文本

更新於 發佈於 閱讀時間約 4 分鐘
OpenAI 已經意識到有關ChatGPT 的抄襲行為,因此推出 AI Text Classifier 以區分文本是AI 或是人類編寫的。本文將介紹如何使用AI Text Classifier檢測文本,並詮釋其產生的檢測結果,最後解釋該工具準確性和限制。OpenAI 強調該工具尚未完善且有一定錯誤率,不應成為唯一的抄襲剽竊證據。
雖然自ChatGPT發布以來一直很受歡迎,但該聊天機器人一直捲入剽竊問題,該工具已被許多學校禁止使用。然而,ChatGPT抄襲問題仍然嚴重,許多人認為其中一個原因是缺少具有系統且有效的工具來診斷ChatGPT抄襲文本。
ChatGPT的研發公司,OpenAI 開始正視這項問題,近期公布了了一款名為AI Text Classifier的工具,旨在區分 AI 生成的文本和人類編寫的文字。OpenAI希望AI Text Classifier可以幫助家長和老師有效且快速地偵測文本是否有抄襲剽竊的問題。但是OpenAI也強調該AI尚未成熟,有一定機率會分錯,所以但不應成為唯一的抄襲剽竊證據。
只有AI才能打到AI

如何使用?

首先我請ChatGPT生成一段網路霸凌文本,指令如下,生成內容太長就不貼了
Please introduce me the content of cyberbullying, at least 1000 words
接下來把ChatGPT生成的文本貼到AI Text Classifier,然後按Submit
結果如下:此文本可能是AI生成,預測正確
The classifier considers the text to be possibly AI-generated.
接下來把人類生成的文本貼到AI Text Classifier,然後按Submit

如何解釋AI Text Classifier的結果?

AI Text Classifier是根據來自各種來源的人類書寫和AI產生文本進行訓練的。每個文檔都被標記為非常不可能不太可能不確定可能非常可能是AI 生成的。以下評估結果是根據Challenge set評估而來,其是由一個由人類產生的文本和訓練後的AI模型(我猜可能是GPT-3 和或ChatGPT之類的模型)組合而成,讓AI Text Classifier去猜測文本是人類還是AI寫的。AI Text Classifier會產生五種結果:
  1. "Very unlikely to be AI-generated"(非常不可能是人工智能生成的) :大約有5%的人類書寫的文本和2%的人工智能生成的文本有這個標籤。
  2. "Unlikely to be AI-generated"(不太可能是人工智能生成的):大約15%的人類書寫的文本和10%的人工智能生成的文本有這個標籤。
  3. "Unclear if it is AI written"(不確定是否為AI生成的):大約50%的人類書寫的文本和34%的人工智能生成的文本有這個標籤。
  4. "Possibly AI-generated"(可能是人工智能生成的):在我們的挑戰集中,大約21%的人類書寫文本和28%的人工智能生成的文本有這個標籤。
  5. "Likely AI-generated"(很可能是人工智能生成的): 大約9%的人類書寫文本和26%的人工智能生成的文本有這個標籤。
整體而言,Challenge set的AUC 得分為 0.66,顯示此分類系統還未完全成熟,準確度還有待提升。

AI Text Classifier的限制

  • 至少需要 1,000 個字符,即大約 150 - 250 個英文單詞。
  • 分類器並不是非常準確的,它有時會錯誤標記 AI 生成的文本和人工編寫的文本。
  • 不容易檢測出經過人為修改的AI 文本(就像你也看不出本文哪段有用ChatGPT幫忙)。
  • 分類器可能會在兒童書寫的文本和非英語文本上出錯(台灣學生表示:),因為它主要是針對成人書寫的英語內容進行訓練的。
您的研究遇到了統計分析的困難嗎?您需要專業的統計諮詢和代跑服務嗎?請點我看提供的服務
avatar-img
231會員
130內容數
文章內容以圖像式和步驟化方式,教您如何在各種統計軟體中(例如:SPSS、R和Mplus),執行多種統計方法。此外,我還會分享一些學術和科技新知,幫助您在學術之路上走得更順利。
留言1
avatar-img
留言分享你的想法!

































































心理博士的筆記本 的其他內容
通過口試、文件審查和筆試後,終於成為一名研究生後,開始要閱讀大量英文文獻,甚至要用英文開始寫學術論文,這時,若有小工具幫忙,更能事半功倍,本文將介紹我認為超好用的論文神器!
我們將介紹各種類型的信度和統計方法,包含Cohen Kappa 係數、組內相關係數、α係數的SPSS教學。信度的可以使用不同的評估方法來評估。信度對於確定評分標準或量表的一致性和穩定度至關重要。
潛在類別模式(latent class modeling, LCM)和潛在剖面分析(Latent Profile Analysis, LPA)是探討潛在類別變項的統計技術。兩者與因素分析最大的不同在於潛在變項(因素)的形式。本文將介紹潛在類別/剖面/混合分析操作1:找出最佳組數
縱貫式中介模型(Longitudinal Mediation Model)是研究隨著時間的改變,變數X如何通過中介變數M影響變數Y的統計模型。它是長期觀察和分析數據的有用工具,可以揭示X和Y之間的關係以及中介變數M在這個關係中扮演的角色。本文將介紹縱貫式中介模型Mplus操作
通過口試、文件審查和筆試後,終於成為一名研究生後,開始要閱讀大量英文文獻,甚至要用英文開始寫學術論文,這時,若有小工具幫忙,更能事半功倍,本文將介紹我認為超好用的論文神器!
我們將介紹各種類型的信度和統計方法,包含Cohen Kappa 係數、組內相關係數、α係數的SPSS教學。信度的可以使用不同的評估方法來評估。信度對於確定評分標準或量表的一致性和穩定度至關重要。
潛在類別模式(latent class modeling, LCM)和潛在剖面分析(Latent Profile Analysis, LPA)是探討潛在類別變項的統計技術。兩者與因素分析最大的不同在於潛在變項(因素)的形式。本文將介紹潛在類別/剖面/混合分析操作1:找出最佳組數
縱貫式中介模型(Longitudinal Mediation Model)是研究隨著時間的改變,變數X如何通過中介變數M影響變數Y的統計模型。它是長期觀察和分析數據的有用工具,可以揭示X和Y之間的關係以及中介變數M在這個關係中扮演的角色。本文將介紹縱貫式中介模型Mplus操作
你可能也想看
Google News 追蹤
Thumbnail
前陣子剛結束的在華山舉辦的原田治快閃店你去逛過了嗎?看見熟悉又可愛插畫角色的各式各樣商品,肯定錢包大破洞了吧?除了用新台幣支持以外,你對原田治先生的創作背景與想法熟悉嗎?今天不如就來認識一下卡哇伊文化始祖aka日本插畫領路人原田治先生吧!
Thumbnail
《卜算子·詠梅》 宋 陸游 驛外斷橋邊,寂寞開無主tsu2。 已是黃昏獨自愁,更著風和雨u2。 無意苦爭春,一任羣芳妒tu3/tu2。 零落成泥碾作塵,只有香如故ku2。 https://www.youtube.com/watch?v=nUxBfNvrvmQ 陸游生活在偏安江南的
對於那些埋首於實驗室、日夜與數據為伴的碩博士生而言,生活中許多看似平凡的事物卻成了奢侈品。以下是屬於這群「科學怪人」的五大奢侈品,能擁有其中之一,都堪稱人生難得的幸福: 1. 高品質的睡眠 熬夜加班、趕報告、修改論文,對碩博士生來說,睡眠通常是第一個被犧牲的項目。 • 長期熬夜讓大腦遲鈍
Thumbnail
── 針對「興趣」寫作的 7 種策略(附實際案例) ​ 「專業」是比較出來的。 在頂級大師面前,就算行業高手也可能像個業餘人士。 在 100% 初學者面前,哪怕只是業餘愛好者,都能讓新手突飛猛進。 ​ 寫作,只要帶給讀者「價值」就會成功。
我靜靜聆聽 自己的悲傷 飾品們啊 請你們聽我說話好嗎 讓我難過的時候 知道還有你們陪著我 我再ㄧ次 收起笑容 深鎖自己 只有我自己才知道 自己在經歷什麼
Thumbnail
ChatGPT作為一個重要的創作和交流工具,對創作的過程和結果產生了深遠的影響。本文將深入探討使用ChatGPT進行創作的正反說法,從各個角度分析這些意見,並提出其未來的發展方向。
Thumbnail
AI生成真的很厲害,看多了AI文,真的會對自己沒信心!🫠🙃😭
Thumbnail
隨著AI技術的普及,瞭解AI工具的重要性。本文介紹AI工具的應用,分享最新的GPT-4o的功能和優勢,並提出AI與人類智慧相結合的見解。
Thumbnail
ChatGPT(全名:聊天生成預訓練轉換器)是一個由 OpenAI 開發的人工智慧聊天機器人程式。它於 2022 年 11 月推出,使用了基於 GPT-3.5、GPT-4 和 GPT-4o 架構的大型語言模型,並以強化學習進行訓練。
Thumbnail
前陣子剛結束的在華山舉辦的原田治快閃店你去逛過了嗎?看見熟悉又可愛插畫角色的各式各樣商品,肯定錢包大破洞了吧?除了用新台幣支持以外,你對原田治先生的創作背景與想法熟悉嗎?今天不如就來認識一下卡哇伊文化始祖aka日本插畫領路人原田治先生吧!
Thumbnail
《卜算子·詠梅》 宋 陸游 驛外斷橋邊,寂寞開無主tsu2。 已是黃昏獨自愁,更著風和雨u2。 無意苦爭春,一任羣芳妒tu3/tu2。 零落成泥碾作塵,只有香如故ku2。 https://www.youtube.com/watch?v=nUxBfNvrvmQ 陸游生活在偏安江南的
對於那些埋首於實驗室、日夜與數據為伴的碩博士生而言,生活中許多看似平凡的事物卻成了奢侈品。以下是屬於這群「科學怪人」的五大奢侈品,能擁有其中之一,都堪稱人生難得的幸福: 1. 高品質的睡眠 熬夜加班、趕報告、修改論文,對碩博士生來說,睡眠通常是第一個被犧牲的項目。 • 長期熬夜讓大腦遲鈍
Thumbnail
── 針對「興趣」寫作的 7 種策略(附實際案例) ​ 「專業」是比較出來的。 在頂級大師面前,就算行業高手也可能像個業餘人士。 在 100% 初學者面前,哪怕只是業餘愛好者,都能讓新手突飛猛進。 ​ 寫作,只要帶給讀者「價值」就會成功。
我靜靜聆聽 自己的悲傷 飾品們啊 請你們聽我說話好嗎 讓我難過的時候 知道還有你們陪著我 我再ㄧ次 收起笑容 深鎖自己 只有我自己才知道 自己在經歷什麼
Thumbnail
ChatGPT作為一個重要的創作和交流工具,對創作的過程和結果產生了深遠的影響。本文將深入探討使用ChatGPT進行創作的正反說法,從各個角度分析這些意見,並提出其未來的發展方向。
Thumbnail
AI生成真的很厲害,看多了AI文,真的會對自己沒信心!🫠🙃😭
Thumbnail
隨著AI技術的普及,瞭解AI工具的重要性。本文介紹AI工具的應用,分享最新的GPT-4o的功能和優勢,並提出AI與人類智慧相結合的見解。
Thumbnail
ChatGPT(全名:聊天生成預訓練轉換器)是一個由 OpenAI 開發的人工智慧聊天機器人程式。它於 2022 年 11 月推出,使用了基於 GPT-3.5、GPT-4 和 GPT-4o 架構的大型語言模型,並以強化學習進行訓練。