在過去興起的AI應用熱潮，除了大家開始留意到的生成式AI的資訊洩漏外，另一問題也日漸浮現就是「AI幻覺」(Hallucination)。
「AI幻覺」和散佈謠言有點不同，廣義而言，Ai幻覺是指在AI生成的內容裡，充滿不正確、似是而非，其至是虛構與現實重叠的狀態。
像早前外國，就曾試過一個律師使用AI生成文件，結果AI給他引述了一些案例，但原來當中都是「虛構」案例，這種無中生有的情況。
AI幻覺的成因，有幾個可能性。
1. 單就AI訓練而言，可能是訓練的取樣資料不足，導致了AI「沒見過世面」，所以知識很單純。舉例說你丟給它一本香港街道名大全，然後着它寫一個在日本發生的一日遊，它會告訴你在東京行在彌敦道和銅鑼灣的日程。
2. 模型本身的缺憾。如果數據模型本身存在缺憾，AI怎樣訓練也不會得出正確推論，因此訓練出來的永遠也是不正確或不完全的成品。例如「聾子聽到啞巴說盲人見到鬼」這種一本正經地跟你說幹話的情況出現。
3. 惡意注入輸入或者拿了不當的資訊。AI模型的訓練，除了依賴龐大的數據，還要注意是龐大而正確的數據。如果惡意輸入一些似是而非的東西而沒有糾正，AI就會很混亂。舉例說你將《哈利波特》、《飢饑遊戲》這類經典都推給它，又沒糾正當中某些虛幻，當你要求它給你寫一篇遊記的時候，弄不好AI真的會寫你乘着掃把在12區的事情。
根據「大數法則」，在龐大而絕大部份正確的數據下，理論上AI模型訓練能自動排除一些錯誤或故意惡意注入的資訊。但是AI模型的生成，一直也是在訓練中產生也是透過很多重覆運算、嘗試與錯誤中得出的結果。
而人類要做的前期功夫，除了是確保訓練資訊來源是可信賴和正確外，還應該在生成和運作期間，有一套有效的機制去驗證模型生成的內容。這套機制，可以是人手測試(manual testing)或是自動化測試(automated testing)。
人手不難，但耗費人力，抽樣調查也可能要涵蓋很多關鍵字以達成有效監察的目的，實際能做到的比例異常地少。自動化則要訂立一套機制，可能是運用另一套AI模型去互相驗證，一如過往我們在QA測試中常見的測試者和驗證者(Tester and Verifier)的關係。
反而是後期功夫，現時提供AI生成式模型的機構還沒有一套明確和認受性的方式。往往是在公眾使用時出現問題，在網上成為了熱門話題才去作修正。
正因為AI已經以一個飛快的滲透速度融入了普通使用者的生活，各國政府更有逼切去訂立法例去規管這些AI生成式模型所提供的服務，以避免將一個現實都市變成了一個奇幻都市。現時除了個別國家有限制AI生成式服務的存取權外，基本上任一機構也能提供他們自己的生成式服務，不論是付費或是免費。但使用者往往很難分辨當中有沒有一些惡意提供者是故意透過提供AI生成性服務從而達到資訊混淆的目的。
更甚者一些錯誤資訊會嚴重影響人們對現實情況的認知，加上現今網絡使用者容易透過社交媒體和即時通訊軟件的使用習慣令錯誤資訊在網上更廣泛流傳，做成不必要的誤會，甚至社會動盪。
