只有替身才能打倒替身!用AI Text Classifier檢查出ChatGPT抄襲文本

更新於 發佈於 閱讀時間約 4 分鐘
OpenAI 已經意識到有關ChatGPT 的抄襲行為,因此推出 AI Text Classifier 以區分文本是AI 或是人類編寫的。本文將介紹如何使用AI Text Classifier檢測文本,並詮釋其產生的檢測結果,最後解釋該工具準確性和限制。OpenAI 強調該工具尚未完善且有一定錯誤率,不應成為唯一的抄襲剽竊證據。
雖然自ChatGPT發布以來一直很受歡迎,但該聊天機器人一直捲入剽竊問題,該工具已被許多學校禁止使用。然而,ChatGPT抄襲問題仍然嚴重,許多人認為其中一個原因是缺少具有系統且有效的工具來診斷ChatGPT抄襲文本。
ChatGPT的研發公司,OpenAI 開始正視這項問題,近期公布了了一款名為AI Text Classifier的工具,旨在區分 AI 生成的文本和人類編寫的文字。OpenAI希望AI Text Classifier可以幫助家長和老師有效且快速地偵測文本是否有抄襲剽竊的問題。但是OpenAI也強調該AI尚未成熟,有一定機率會分錯,所以但不應成為唯一的抄襲剽竊證據。
只有AI才能打到AI

如何使用?

首先我請ChatGPT生成一段網路霸凌文本,指令如下,生成內容太長就不貼了
Please introduce me the content of cyberbullying, at least 1000 words
接下來把ChatGPT生成的文本貼到AI Text Classifier,然後按Submit
結果如下:此文本可能是AI生成,預測正確
The classifier considers the text to be possibly AI-generated.
接下來把人類生成的文本貼到AI Text Classifier,然後按Submit

如何解釋AI Text Classifier的結果?

AI Text Classifier是根據來自各種來源的人類書寫和AI產生文本進行訓練的。每個文檔都被標記為非常不可能不太可能不確定可能非常可能是AI 生成的。以下評估結果是根據Challenge set評估而來,其是由一個由人類產生的文本和訓練後的AI模型(我猜可能是GPT-3 和或ChatGPT之類的模型)組合而成,讓AI Text Classifier去猜測文本是人類還是AI寫的。AI Text Classifier會產生五種結果:
  1. "Very unlikely to be AI-generated"(非常不可能是人工智能生成的) :大約有5%的人類書寫的文本和2%的人工智能生成的文本有這個標籤。
  2. "Unlikely to be AI-generated"(不太可能是人工智能生成的):大約15%的人類書寫的文本和10%的人工智能生成的文本有這個標籤。
  3. "Unclear if it is AI written"(不確定是否為AI生成的):大約50%的人類書寫的文本和34%的人工智能生成的文本有這個標籤。
  4. "Possibly AI-generated"(可能是人工智能生成的):在我們的挑戰集中,大約21%的人類書寫文本和28%的人工智能生成的文本有這個標籤。
  5. "Likely AI-generated"(很可能是人工智能生成的): 大約9%的人類書寫文本和26%的人工智能生成的文本有這個標籤。
整體而言,Challenge set的AUC 得分為 0.66,顯示此分類系統還未完全成熟,準確度還有待提升。

AI Text Classifier的限制

  • 至少需要 1,000 個字符,即大約 150 - 250 個英文單詞。
  • 分類器並不是非常準確的,它有時會錯誤標記 AI 生成的文本和人工編寫的文本。
  • 不容易檢測出經過人為修改的AI 文本(就像你也看不出本文哪段有用ChatGPT幫忙)。
  • 分類器可能會在兒童書寫的文本和非英語文本上出錯(台灣學生表示:),因為它主要是針對成人書寫的英語內容進行訓練的。
您的研究遇到了統計分析的困難嗎?您需要專業的統計諮詢和代跑服務嗎?請點我看提供的服務
為什麼會看到廣告
avatar-img
225會員
127內容數
文章內容以圖像式和步驟化方式,教您如何在各種統計軟體中(例如:SPSS、R和Mplus),執行多種統計方法。此外,我還會分享一些學術和科技新知,幫助您在學術之路上走得更順利。
留言0
查看全部
avatar-img
發表第一個留言支持創作者!
心理博士的筆記本 的其他內容
通過口試、文件審查和筆試後,終於成為一名研究生後,開始要閱讀大量英文文獻,甚至要用英文開始寫學術論文,這時,若有小工具幫忙,更能事半功倍,本文將介紹我認為超好用的論文神器!
我們將介紹各種類型的信度和統計方法,包含Cohen Kappa 係數、組內相關係數、α係數的SPSS教學。信度的可以使用不同的評估方法來評估。信度對於確定評分標準或量表的一致性和穩定度至關重要。
潛在類別模式(latent class modeling, LCM)和潛在剖面分析(Latent Profile Analysis, LPA)是探討潛在類別變項的統計技術。兩者與因素分析最大的不同在於潛在變項(因素)的形式。本文將介紹潛在類別/剖面/混合分析操作1:找出最佳組數
縱貫式中介模型(Longitudinal Mediation Model)是研究隨著時間的改變,變數X如何通過中介變數M影響變數Y的統計模型。它是長期觀察和分析數據的有用工具,可以揭示X和Y之間的關係以及中介變數M在這個關係中扮演的角色。本文將介紹縱貫式中介模型Mplus操作
通過口試、文件審查和筆試後,終於成為一名研究生後,開始要閱讀大量英文文獻,甚至要用英文開始寫學術論文,這時,若有小工具幫忙,更能事半功倍,本文將介紹我認為超好用的論文神器!
我們將介紹各種類型的信度和統計方法,包含Cohen Kappa 係數、組內相關係數、α係數的SPSS教學。信度的可以使用不同的評估方法來評估。信度對於確定評分標準或量表的一致性和穩定度至關重要。
潛在類別模式(latent class modeling, LCM)和潛在剖面分析(Latent Profile Analysis, LPA)是探討潛在類別變項的統計技術。兩者與因素分析最大的不同在於潛在變項(因素)的形式。本文將介紹潛在類別/剖面/混合分析操作1:找出最佳組數
縱貫式中介模型(Longitudinal Mediation Model)是研究隨著時間的改變,變數X如何通過中介變數M影響變數Y的統計模型。它是長期觀察和分析數據的有用工具,可以揭示X和Y之間的關係以及中介變數M在這個關係中扮演的角色。本文將介紹縱貫式中介模型Mplus操作
你可能也想看
Google News 追蹤
Thumbnail
嘿,大家新年快樂~ 新年大家都在做什麼呢? 跨年夜的我趕工製作某個外包設計案,在工作告一段落時趕上倒數。 然後和兩個小孩過了一個忙亂的元旦。在深夜時刻,看到朋友傳來的解籤網站,興致勃勃熬夜體驗了一下,覺得非常好玩,或許有人玩過了,但還是想寫上來分享紀錄一下~
Thumbnail
ChatGPT作為一個重要的創作和交流工具,對創作的過程和結果產生了深遠的影響。本文將深入探討使用ChatGPT進行創作的正反說法,從各個角度分析這些意見,並提出其未來的發展方向。
Thumbnail
AI生成真的很厲害,看多了AI文,真的會對自己沒信心!🫠🙃😭
Thumbnail
隨著AI技術的普及,瞭解AI工具的重要性。本文介紹AI工具的應用,分享最新的GPT-4o的功能和優勢,並提出AI與人類智慧相結合的見解。
Thumbnail
ChatGPT(全名:聊天生成預訓練轉換器)是一個由 OpenAI 開發的人工智慧聊天機器人程式。它於 2022 年 11 月推出,使用了基於 GPT-3.5、GPT-4 和 GPT-4o 架構的大型語言模型,並以強化學習進行訓練。
Thumbnail
前年2022年11月OpenAI公司發表了ChatGPT,並開放ChatGPT-3.5在網路上供人免費下載試用,瞬間引爆了人工智慧的話題,能夠自我學習的ChatGPT以每天可見的變化在進步,讓人見識到人工智能的學習力,隨後OpenAI發表的GPT-4,讓人見識到GPT這個人工智慧系統有著令人驚訝的智
Inleiding ChatGPT Gratis, een geavanceerd AI-model ontwikkeld door OpenAI, heeft de manier waarop content wordt gegenereerd en gecreëerd ingrijpend v
Thumbnail
當你聽到「GPT」這三個字母時,你的腦海中會浮現什麼?是OpenAI掀起AI革命的明星產品ChatGPT🤖,抑或是其原本的技術術語「Generative Pre-trained Transformer」(生成型預訓練變換模型)? 事實上這不僅是一個關於詞彙理解的問題,更是一個關於商標權的故事。
Thumbnail
OpenAI推出的Custom GPTs可以讓你自己量身製作符合你自己需求的AI助手,客製化AI工具喂給他不同的資料產生的結果好壞程度也差很多,好的AI工具能夠幫大家更有效率解決很多問題,不過因為製作門檻很低,有非常大量的客製化GPTs已經在OpenAI的ChatGPT上,這篇推薦給大家的是蒐集整理
Thumbnail
ChatGPT出現後不少人歡欣雀躍。衹要提出明確問題、作出明確指示,ChatGPT可在極短時間生成一篇文情並茂的數位文本;發表在寫作平台可以神不知鬼不覺。有人引以為憂,認為自此龍蛇混淆、真實創作和Al文本並置。《商週》在一篇報導中稱:已經有一款可以檢測文本是否來自AI的軟GPTZero。
Thumbnail
嘿,大家新年快樂~ 新年大家都在做什麼呢? 跨年夜的我趕工製作某個外包設計案,在工作告一段落時趕上倒數。 然後和兩個小孩過了一個忙亂的元旦。在深夜時刻,看到朋友傳來的解籤網站,興致勃勃熬夜體驗了一下,覺得非常好玩,或許有人玩過了,但還是想寫上來分享紀錄一下~
Thumbnail
ChatGPT作為一個重要的創作和交流工具,對創作的過程和結果產生了深遠的影響。本文將深入探討使用ChatGPT進行創作的正反說法,從各個角度分析這些意見,並提出其未來的發展方向。
Thumbnail
AI生成真的很厲害,看多了AI文,真的會對自己沒信心!🫠🙃😭
Thumbnail
隨著AI技術的普及,瞭解AI工具的重要性。本文介紹AI工具的應用,分享最新的GPT-4o的功能和優勢,並提出AI與人類智慧相結合的見解。
Thumbnail
ChatGPT(全名:聊天生成預訓練轉換器)是一個由 OpenAI 開發的人工智慧聊天機器人程式。它於 2022 年 11 月推出,使用了基於 GPT-3.5、GPT-4 和 GPT-4o 架構的大型語言模型,並以強化學習進行訓練。
Thumbnail
前年2022年11月OpenAI公司發表了ChatGPT,並開放ChatGPT-3.5在網路上供人免費下載試用,瞬間引爆了人工智慧的話題,能夠自我學習的ChatGPT以每天可見的變化在進步,讓人見識到人工智能的學習力,隨後OpenAI發表的GPT-4,讓人見識到GPT這個人工智慧系統有著令人驚訝的智
Inleiding ChatGPT Gratis, een geavanceerd AI-model ontwikkeld door OpenAI, heeft de manier waarop content wordt gegenereerd en gecreëerd ingrijpend v
Thumbnail
當你聽到「GPT」這三個字母時,你的腦海中會浮現什麼?是OpenAI掀起AI革命的明星產品ChatGPT🤖,抑或是其原本的技術術語「Generative Pre-trained Transformer」(生成型預訓練變換模型)? 事實上這不僅是一個關於詞彙理解的問題,更是一個關於商標權的故事。
Thumbnail
OpenAI推出的Custom GPTs可以讓你自己量身製作符合你自己需求的AI助手,客製化AI工具喂給他不同的資料產生的結果好壞程度也差很多,好的AI工具能夠幫大家更有效率解決很多問題,不過因為製作門檻很低,有非常大量的客製化GPTs已經在OpenAI的ChatGPT上,這篇推薦給大家的是蒐集整理
Thumbnail
ChatGPT出現後不少人歡欣雀躍。衹要提出明確問題、作出明確指示,ChatGPT可在極短時間生成一篇文情並茂的數位文本;發表在寫作平台可以神不知鬼不覺。有人引以為憂,認為自此龍蛇混淆、真實創作和Al文本並置。《商週》在一篇報導中稱:已經有一款可以檢測文本是否來自AI的軟GPTZero。