AI幻覺:探討生成式AI中的錯誤資訊與挑戰

更新於 2024/09/12閱讀時間約 3 分鐘

在過去興起的AI應用熱潮,除了大家開始留意到的生成式AI的資訊洩漏外,另一問題也日漸浮現就是「AI幻覺」(Hallucination)。

「AI幻覺」和散佈謠言有點不同,廣義而言,Ai幻覺是指在AI生成的內容裡,充滿不正確、似是而非,其至是虛構與現實重叠的狀態。

像早前外國,就曾試過一個律師使用AI生成文件,結果AI給他引述了一些案例,但原來當中都是「虛構」案例,這種無中生有的情況。

 

AI幻覺的成因,有幾個可能性。

1.      單就AI訓練而言,可能是訓練的取樣資料不足,導致了AI「沒見過世面」,所以知識很單純。舉例說你丟給它一本香港街道名大全,然後着它寫一個在日本發生的一日遊,它會告訴你在東京行在彌敦道和銅鑼灣的日程。

2.      模型本身的缺憾。如果數據模型本身存在缺憾,AI怎樣訓練也不會得出正確推論,因此訓練出來的永遠也是不正確或不完全的成品。例如「聾子聽到啞巴說盲人見到鬼」這種一本正經地跟你說幹話的情況出現。

3.      惡意注入輸入或者拿了不當的資訊。AI模型的訓練,除了依賴龐大的數據,還要注意是龐大而正確的數據。如果惡意輸入一些似是而非的東西而沒有糾正,AI就會很混亂。舉例說你將《哈利波特》、《飢饑遊戲》這類經典都推給它,又沒糾正當中某些虛幻,當你要求它給你寫一篇遊記的時候,弄不好AI真的會寫你乘着掃把在12區的事情。

 

根據「大數法則」,在龐大而絕大部份正確的數據下,理論上AI模型訓練能自動排除一些錯誤或故意惡意注入的資訊。但是AI模型的生成,一直也是在訓練中產生也是透過很多重覆運算、嘗試與錯誤中得出的結果。

而人類要做的前期功夫,除了是確保訓練資訊來源是可信賴和正確外,還應該在生成和運作期間,有一套有效的機制去驗證模型生成的內容。這套機制,可以是人手測試(manual testing)或是自動化測試(automated testing)。

人手不難,但耗費人力,抽樣調查也可能要涵蓋很多關鍵字以達成有效監察的目的,實際能做到的比例異常地少。自動化則要訂立一套機制,可能是運用另一套AI模型去互相驗證,一如過往我們在QA測試中常見的測試者和驗證者(Tester and Verifier)的關係。

反而是後期功夫,現時提供AI生成式模型的機構還沒有一套明確和認受性的方式。往往是在公眾使用時出現問題,在網上成為了熱門話題才去作修正。

正因為AI已經以一個飛快的滲透速度融入了普通使用者的生活,各國政府更有逼切去訂立法例去規管這些AI生成式模型所提供的服務,以避免將一個現實都市變成了一個奇幻都市。現時除了個別國家有限制AI生成式服務的存取權外,基本上任一機構也能提供他們自己的生成式服務,不論是付費或是免費。但使用者往往很難分辨當中有沒有一些惡意提供者是故意透過提供AI生成性服務從而達到資訊混淆的目的。

 

更甚者一些錯誤資訊會嚴重影響人們對現實情況的認知,加上現今網絡使用者容易透過社交媒體和即時通訊軟件的使用習慣令錯誤資訊在網上更廣泛流傳,做成不必要的誤會,甚至社會動盪。

avatar-img
18會員
82內容數
現職風險管理部總監、兼任大學資安講師及博士研究生。語言學、電腦罪案、工商管理及傳媒管理碩士學位。CISSP、CISA、CISM、CRISC、CHFI、PMP及ISO27001首席審計師資格。也是一名被資安生涯耽誤的詩人及酒徒,作品散見於網路及台港詩刊,持國際唎酒師資格......興趣太廣泛的大孩子。
留言0
查看全部
avatar-img
發表第一個留言支持創作者!
左先生的沙龍 的其他內容
2024年7月19日,全球出現大規模的電腦擋機事故,相信就算不是在IT界發展的,對於微軟視窗的藍畫面也是略有所聞。微軟由很多年前的作業系統版本開始,就有藍底白字顯示錯誤的畫面,也就是所謂的「死機」。這就是世界聞名的Blue Screen of Death (BSoD)。
NIST資訊安全框架(NIST Cybersecurity Framework)是美國國家標準與技術研究所(National Institute of Standards and Technology)所提出的一套資訊安全架構標準......
過去一週,在Linux或是Open-source(開源)社群有一單很轟動的新聞。就是一個名為XZ Utils的開源軟體被植入Backdoor後門程式。事件嚴重的原因,除了是這個軟體被很多大型的Linux分支所採用外,這次事件的元兇被非在重新上傳或在分發時動手腳,而是在源頭做手腳。
香港私隱專員公公署今日4/2/2024就數碼港公司去年的資安事故發表了調查報告 報告原文: (https://www.pcpd.org.hk/english/news_events/media_statements/press_20240402.html) 事件源於數碼港向私隱專員公署通報資料外
在當今的數位化時代,企業越來越依賴資訊技術系統來開展業務。隨著對資訊技術系統的依賴程度越來越高,企業必須確保其資料的安全性和完整性。ISO 27001 標準是一項中立和全球通用的標準,旨在為資訊安全管理系統提供了一個框架,隨着時代發現,ISO27001已更新至2022版本,以應對數字環境中不斷變化的
不論企業使用的伺服器和客戶端是使用何種作業系統,定期更新補丁是必不可少的。 這道理仿如真理,因為世界上還沒有一個作業系統是完全沒有漏洞的,只要有漏洞被發現,就要推出補丁,作為使用者的角色就得決定是否安裝。 筆者曾經和一些決策層交談,他們未必是IT業者,但也懂得補丁要越快更新越好。但其實這觀點並不
2024年7月19日,全球出現大規模的電腦擋機事故,相信就算不是在IT界發展的,對於微軟視窗的藍畫面也是略有所聞。微軟由很多年前的作業系統版本開始,就有藍底白字顯示錯誤的畫面,也就是所謂的「死機」。這就是世界聞名的Blue Screen of Death (BSoD)。
NIST資訊安全框架(NIST Cybersecurity Framework)是美國國家標準與技術研究所(National Institute of Standards and Technology)所提出的一套資訊安全架構標準......
過去一週,在Linux或是Open-source(開源)社群有一單很轟動的新聞。就是一個名為XZ Utils的開源軟體被植入Backdoor後門程式。事件嚴重的原因,除了是這個軟體被很多大型的Linux分支所採用外,這次事件的元兇被非在重新上傳或在分發時動手腳,而是在源頭做手腳。
香港私隱專員公公署今日4/2/2024就數碼港公司去年的資安事故發表了調查報告 報告原文: (https://www.pcpd.org.hk/english/news_events/media_statements/press_20240402.html) 事件源於數碼港向私隱專員公署通報資料外
在當今的數位化時代,企業越來越依賴資訊技術系統來開展業務。隨著對資訊技術系統的依賴程度越來越高,企業必須確保其資料的安全性和完整性。ISO 27001 標準是一項中立和全球通用的標準,旨在為資訊安全管理系統提供了一個框架,隨着時代發現,ISO27001已更新至2022版本,以應對數字環境中不斷變化的
不論企業使用的伺服器和客戶端是使用何種作業系統,定期更新補丁是必不可少的。 這道理仿如真理,因為世界上還沒有一個作業系統是完全沒有漏洞的,只要有漏洞被發現,就要推出補丁,作為使用者的角色就得決定是否安裝。 筆者曾經和一些決策層交談,他們未必是IT業者,但也懂得補丁要越快更新越好。但其實這觀點並不
你可能也想看
Google News 追蹤
Thumbnail
本文探討了複利效應的重要性,並藉由巴菲特的投資理念,說明如何選擇穩定產生正報酬的資產及長期持有的核心理念。透過定期定額的投資方式,不僅能減少情緒影響,還能持續參與全球股市的發展。此外,文中介紹了使用國泰 Cube App 的便利性及低手續費,幫助投資者簡化投資流程,達成長期穩定增長的財務目標。
Thumbnail
AI生成圖片是一個挑戰性的任務,雖然AI能理解文字需求,但仍無法完全想像心中的理想畫面。使用中文描述AI的生成效果約為5成到6成,而加入擬人化的描述可以讓AI更好地理解需求。無論如何,AI生成圖片仍面臨許多挑戰,需要更多的研究與嘗試。
Thumbnail
本文介紹了人工智慧(AI)及機器學習(ML)的基本概念和關係,探討了數據在機器學習中的重要性,以及深度學習和生成式人工智慧的應用。
  之前擔任了某個分析AI文創挑的評審,活動順利完結,看到了許多人分析該文章是否為AI文、AI文的不合理之處的看法與理由,今天就來以幾個較常看到的、關於AI文的爭議作為出發點,聊聊我個人對於AI文的一點淺見。   由於AI生成的產物種類眾多,因此這裡的「AI文」,只討論故事、小說這類產物。
Thumbnail
本文討論了雖然人工智慧可以提供大量參考答案,但缺乏感知和直覺,無法主動發現不尋常的情況,因此仍需要人腦確認和解決問題的重要性。同時強調了發現奇怪之處、與人溝通、發現問題點、詢問AI並總結出答案的能力和實作的能力的重要性。
Thumbnail
使用AI所產出的資訊,必須審慎判讀取捨,不宜照單全收。
Thumbnail
人工智慧(AI)是當今科技領域最炙手可熱的話題之一,這項技術正在改變我們的生活方式、工作方式以及與科技互動的方式。本文將深入探討AI的意義、生成式AI的概念、AI在生活中的應用案例,以及一些熱門的AI產品。藉由這趟AI之旅,我們將更深入了解這個讓世界為之矚目的技術。
Thumbnail
人工智慧(AI)的發展日新月異,其中生成式AI成為近年矚目的焦點之一。生成式AI不僅能夠模仿人類智能,更能夠創造全新的內容和想法。本文將深入探討生成式AI在影像領域的應用,包括其概念、原理、發展趨勢,以及一些嶄新的生成式AI公司和軟體。
Thumbnail
生成式人工智慧(AI)已成為當前科技領域的一大熱點,其能力不僅限於模擬人類智能,更能在多種非傳統計算任務中創造前所未有的內容。這篇文章將深入探討生成式AI的理論基礎、實際應用、代碼實踐,以及其商業應用、工具和公司等方面,提供一個全面的視角來了解這一迅速發展的領域。
近來AI繪圖以及如Chatgpt等可進行對話的AI進入到大眾視野,讓AI成為了熱門話題,網路媒體和論壇冒出許多相關的文章,足見AI之勢著實非同小可。
Thumbnail
在人工智慧(AI)領域中,生成式AI已經成為一個備受關注的分支,它不僅在創造性的工作中展現出強大的能力,還在各個領域中展現出潛在的應用價值。本文將從宏觀的角度出發,深入探討生成式AI的種類、概念、缺點、公司、訓練、發展趨勢以及原理,帶領讀者深入了解這個令人振奮的領域。
Thumbnail
本文探討了複利效應的重要性,並藉由巴菲特的投資理念,說明如何選擇穩定產生正報酬的資產及長期持有的核心理念。透過定期定額的投資方式,不僅能減少情緒影響,還能持續參與全球股市的發展。此外,文中介紹了使用國泰 Cube App 的便利性及低手續費,幫助投資者簡化投資流程,達成長期穩定增長的財務目標。
Thumbnail
AI生成圖片是一個挑戰性的任務,雖然AI能理解文字需求,但仍無法完全想像心中的理想畫面。使用中文描述AI的生成效果約為5成到6成,而加入擬人化的描述可以讓AI更好地理解需求。無論如何,AI生成圖片仍面臨許多挑戰,需要更多的研究與嘗試。
Thumbnail
本文介紹了人工智慧(AI)及機器學習(ML)的基本概念和關係,探討了數據在機器學習中的重要性,以及深度學習和生成式人工智慧的應用。
  之前擔任了某個分析AI文創挑的評審,活動順利完結,看到了許多人分析該文章是否為AI文、AI文的不合理之處的看法與理由,今天就來以幾個較常看到的、關於AI文的爭議作為出發點,聊聊我個人對於AI文的一點淺見。   由於AI生成的產物種類眾多,因此這裡的「AI文」,只討論故事、小說這類產物。
Thumbnail
本文討論了雖然人工智慧可以提供大量參考答案,但缺乏感知和直覺,無法主動發現不尋常的情況,因此仍需要人腦確認和解決問題的重要性。同時強調了發現奇怪之處、與人溝通、發現問題點、詢問AI並總結出答案的能力和實作的能力的重要性。
Thumbnail
使用AI所產出的資訊,必須審慎判讀取捨,不宜照單全收。
Thumbnail
人工智慧(AI)是當今科技領域最炙手可熱的話題之一,這項技術正在改變我們的生活方式、工作方式以及與科技互動的方式。本文將深入探討AI的意義、生成式AI的概念、AI在生活中的應用案例,以及一些熱門的AI產品。藉由這趟AI之旅,我們將更深入了解這個讓世界為之矚目的技術。
Thumbnail
人工智慧(AI)的發展日新月異,其中生成式AI成為近年矚目的焦點之一。生成式AI不僅能夠模仿人類智能,更能夠創造全新的內容和想法。本文將深入探討生成式AI在影像領域的應用,包括其概念、原理、發展趨勢,以及一些嶄新的生成式AI公司和軟體。
Thumbnail
生成式人工智慧(AI)已成為當前科技領域的一大熱點,其能力不僅限於模擬人類智能,更能在多種非傳統計算任務中創造前所未有的內容。這篇文章將深入探討生成式AI的理論基礎、實際應用、代碼實踐,以及其商業應用、工具和公司等方面,提供一個全面的視角來了解這一迅速發展的領域。
近來AI繪圖以及如Chatgpt等可進行對話的AI進入到大眾視野,讓AI成為了熱門話題,網路媒體和論壇冒出許多相關的文章,足見AI之勢著實非同小可。
Thumbnail
在人工智慧(AI)領域中,生成式AI已經成為一個備受關注的分支,它不僅在創造性的工作中展現出強大的能力,還在各個領域中展現出潛在的應用價值。本文將從宏觀的角度出發,深入探討生成式AI的種類、概念、缺點、公司、訓練、發展趨勢以及原理,帶領讀者深入了解這個令人振奮的領域。