前言

本篇將講述近期提出所謂的波坦金理解,以及當前很多使用者對於大語言模型的疑問,因此,以下不會涉及太多術語,盡可能偏向日常使用者,幫助使用者在使用ChatGPT這類的大語言模型(LLM),能具備更多的前置了解,更認識大型語言模型工具。
大型語言模型(LLM, Large Language Model)是一類基於深度學習(Deep Learning)的人工智慧模型,主要用於自然語言處理(Natural Language Processing, NLP)任務,如:生成文字、翻譯、問答、摘要等。
波坦金理解 Potemkin Understanding
以下為筆者從波坦金理解論文轉述,
波坦金理解是指大型語言模型(LLM)在基準測驗中表現良好,看似具備概念理解,但實際上缺乏一致且可應用的內部概念結構。這種理解是表面的——模型能正確定義某個概念,卻無法正確應用或生成符合該概念的內容。
例如,模型能清楚說明 ABAB 押韻的定義,但當需要產出符合 ABAB 格式的詩句時卻失敗,且這種錯誤的形式與人類常見的誤解方式不同,因此無法以人類的方式進行判斷或修正。
以下是筆者對於大語言模型的理解,
希望能幫助到更多日常使用者有更多的了解
什麼是理解?
對於什麼是理解,人工智慧LLM應用是否能理解,對此如果我們給定一個範圍的對談或考試,也給予一份對應的資料,即便受試者不用具備該領域基礎知識,以自然語言有條有理的拼湊是否也能達到相當準確的回應,這就好像傳統搜索透過演算法或是關鍵字搜索下,初步的幫搜尋者找到較為貼近需求的答案,但是傳統網頁搜索下的文章出處來源等等,也無法保證內容絕對完好且正確,這取決於使用者當下需要查看的資料,是否為非常明確已知的資訊,還是客觀需要在進一步探討的問題,對於明確已知的資訊LLM的表現可以達到一定的水準。
LLM 的文字任務
很多人初步認識到生成式AI並且使用到大型語言模型(如ChatGPT),會不斷討論是否據有意識,是否能發展成為超人工智能等等,當然這些形而上具有人文和哲學上的探討,是有益於AI進一步發展的討論。
目前來說,基於常見的各項自然語言模型來看,LLM在做的事情,相當除文字向量化、理解使用者語義、將文字向量不斷迴圈形成類似記憶的假象、對文字語義進行任務歸類、對文字向量進行歸納整理等等,多數個大大小小的任務,所以在回應到本篇主題,希望到有幫助到讀者更認識ChatGPT這類的大語言模型。
結語
喜歡AI的朋友可以加入我們的社群,36號系統是一個專注在人工智慧科技與人文的社群,未來會持續為大家整理出 AI 相關的研究。