Chat GPT是黑盒子嗎 ？
閱讀時間約 1 分鐘
人工智慧中最受歡迎的作法莫過於類神經網路，以當今最受歡迎的大型語言模型 (LLM)也不例外，然而這些持續受到爭議：黑盒子，也就是說我們不知道它內部怎麼運作，只知道給它一段話，它就會輸出一段話來回應。
以下從幾個面向來討論「黑盒子」議題：
- 透明性 Transparency
以LLM模型的開源層度來詮釋，以下以三個程度來說明
- Chat GPT系列：完全沒有公開LLM的權重; 也沒有公開訓練方法
- Llama系列：有公開LLM權重; 但沒有公開訓練方法
- Pythia系列：有公開LLM權重; 也有公開訓練方法
- 思維可理解 Interpretable
以Decision Tree這種Machine Learning方法最為被推崇，因為對於Decision Tree中每個分支的生長都能有Entropy與Gini Index為依據，不過這裡存在爭議，因為當Decision Tree生長到非常巨大，非常深之時，Interpretable這項特性就會漸漸喪失
以當今最火紅的LLM，裏面的關件元素乃是Transformer，這很明顯也不具備Interpretable特性
- 可解釋性Explainable
核心議題就是：「找出影響輸出的關鍵輸入」
可行作法舉例：
- 觀察每一個輸入的改變對輸出的影響
- 在Transformer中，觀察Attention機制的數值
- 找出影響輸出的關鍵訓練資料 (模型這樣講，是受到哪筆訓練資料影響呢？)
- 以Probing技術，深入LLM模型中挖掘Embedding層資訊
- 將LLM模型中的Embedding高維資訊投影至低微空間
- 既然LLM都會說話了，那就直接問它即可 (不全然可信)
155會員
392內容數
這裡將提供： AI、Machine Learning、Deep Learning、Reinforcement Learning、Probabilistic Graphical Model的讀書筆記與演算法介紹，一起在未來AI的世界擁抱AI技術，不BI。
留言0
查看全部
你可能也想看
Google News 追蹤
這個秋，Chill 嗨嗨！穿搭美美去賞楓，裝備款款去露營⋯⋯你的秋天怎麼過？秋日 To Do List 等你分享！
秋季全站徵文，我們準備了五個創作主題，參賽還有機會獲得「火烤兩用鍋」，一起來看看如何參加吧～
美國總統大選只剩下三天， 我們觀察一整週民調與金融市場的變化（包含賭局）， 到本週五下午3:00前為止， 誰是美國總統幾乎大概可以猜到60-70%的機率， 本篇文章就是以大選結局為主軸來討論近期甚至到未來四年美股可能的改變
Faker昨天真的太扯了，中國主播王多多點評的話更是精妙，分享給各位
王多多的點評
「Faker是我們的處境，他是LPL永遠繞不開的一個人和話題，所以我們特別渴望在決賽跟他相遇，去直面我們的處境。
我們曾經稱他為最高的山，最長的河，以為山海就是盡頭，可是Faker用他28歲的年齡...
Heypi 使用感受：介面非常簡潔、乾淨。使用起來很方便，而且免費。需要的小夥伴快去體驗吧~體驗地址在最後~
Pi是一種新型AI，能夠以自然、流暢的風格進行對話。並且能夠提供友善的建議和簡潔的資訊。優先處理與人的對話，提高工作效率、搜尋或回答問題。
ChatGPT 是由 OpenAI 開發的一種人工智能語言模型，它基於 GPT-3.5 架構。GPT 的全名是 "Generative Pre-trained Transformer"，它是一種預訓練的自然語言處理模型。GPT-3.5 是 GPT 系列的最新版本，它在 GPT-3 的基礎上進行了改進
這篇文章介紹了ChatGPT，一種大型的語言模型，能以自然語言回答問題，但不透過搜尋罐頭文字或網路內容。其核心技術是自監督式學習，通過大量的網路資料進行訓練，讓模型能進行文字接龍。儘管GPT系列經歷了多次演進，並需用大量的訓練資料，它的問答能力仍有待提升。然而，透過不斷優化，我們已有了更進一步的版本
在面試準備的過程中，我們可能會發現自己對某些領域缺乏相關的專業知識，尤其是廣泛的領域如Marketing更是如此，永遠都有學不完的知識。這時候不需要因為看到陌生的名詞而感到沮喪。相反地，我們可以善用現有的資源，例如 Chat GPT 等實用軟體，從網路上輕鬆獲得所需的知識，以增強自己的硬實力。
本文介紹了如何使用 Chat GPT 進行面試準備，以提高面試成功率。同時，使用 Chat GPT 還能幫助你製作出更有組織性的文章，讓你的回答更易於閱讀和理解。儘管 Chat GPT 提供了有價值的輔助，成功仍然取決於面試者本身的充分準備和自信，只有這樣才能在面試中脫穎而出。
雖然它現在很紅，但還是幫不知道的人介紹一下它是什麼東西呢
不如...讓它自己介紹自己吧
基本上它的語言能力已經強到即使用中文溝通也不會讓中文人士覺得語句有不順暢的地方，當然它更強的是可以在所有領域的問題都找的到答案，例如:
但關於投資建議或是對於人類重要的選擇，它似乎會做很模稜兩可的回答
但由於它其
如果你喜歡這個專題，歡迎 #單筆 或 #定期定額 贊助我們，這將能支持我們持續關心並投入媒體環境監督觀察、兒少閱聽權益、關注新聞自由等工作，謝謝你一直以來的支持與鼓勵！
「ChatGPT」哇哇墜地後，聽說「OpenAI訓練的大型語言模型」很厲害。筆者不禁也想趕個流行，來測試一下這個AI人工智能的能力。據說「ChatGPT」能扮演各種角色。甚至已經有網站，為他寫了各種的角色的腳本。譬若「https://github.com」網
這個秋，Chill 嗨嗨！穿搭美美去賞楓，裝備款款去露營⋯⋯你的秋天怎麼過？秋日 To Do List 等你分享！
秋季全站徵文，我們準備了五個創作主題，參賽還有機會獲得「火烤兩用鍋」，一起來看看如何參加吧～
美國總統大選只剩下三天， 我們觀察一整週民調與金融市場的變化（包含賭局）， 到本週五下午3:00前為止， 誰是美國總統幾乎大概可以猜到60-70%的機率， 本篇文章就是以大選結局為主軸來討論近期甚至到未來四年美股可能的改變
Faker昨天真的太扯了，中國主播王多多點評的話更是精妙，分享給各位
王多多的點評
「Faker是我們的處境，他是LPL永遠繞不開的一個人和話題，所以我們特別渴望在決賽跟他相遇，去直面我們的處境。
我們曾經稱他為最高的山，最長的河，以為山海就是盡頭，可是Faker用他28歲的年齡...
Heypi 使用感受：介面非常簡潔、乾淨。使用起來很方便，而且免費。需要的小夥伴快去體驗吧~體驗地址在最後~
Pi是一種新型AI，能夠以自然、流暢的風格進行對話。並且能夠提供友善的建議和簡潔的資訊。優先處理與人的對話，提高工作效率、搜尋或回答問題。
ChatGPT 是由 OpenAI 開發的一種人工智能語言模型，它基於 GPT-3.5 架構。GPT 的全名是 "Generative Pre-trained Transformer"，它是一種預訓練的自然語言處理模型。GPT-3.5 是 GPT 系列的最新版本，它在 GPT-3 的基礎上進行了改進
這篇文章介紹了ChatGPT，一種大型的語言模型，能以自然語言回答問題，但不透過搜尋罐頭文字或網路內容。其核心技術是自監督式學習，通過大量的網路資料進行訓練，讓模型能進行文字接龍。儘管GPT系列經歷了多次演進，並需用大量的訓練資料，它的問答能力仍有待提升。然而，透過不斷優化，我們已有了更進一步的版本
在面試準備的過程中，我們可能會發現自己對某些領域缺乏相關的專業知識，尤其是廣泛的領域如Marketing更是如此，永遠都有學不完的知識。這時候不需要因為看到陌生的名詞而感到沮喪。相反地，我們可以善用現有的資源，例如 Chat GPT 等實用軟體，從網路上輕鬆獲得所需的知識，以增強自己的硬實力。
本文介紹了如何使用 Chat GPT 進行面試準備，以提高面試成功率。同時，使用 Chat GPT 還能幫助你製作出更有組織性的文章，讓你的回答更易於閱讀和理解。儘管 Chat GPT 提供了有價值的輔助，成功仍然取決於面試者本身的充分準備和自信，只有這樣才能在面試中脫穎而出。
雖然它現在很紅，但還是幫不知道的人介紹一下它是什麼東西呢
不如...讓它自己介紹自己吧
基本上它的語言能力已經強到即使用中文溝通也不會讓中文人士覺得語句有不順暢的地方，當然它更強的是可以在所有領域的問題都找的到答案，例如:
但關於投資建議或是對於人類重要的選擇，它似乎會做很模稜兩可的回答
但由於它其
如果你喜歡這個專題，歡迎 #單筆 或 #定期定額 贊助我們，這將能支持我們持續關心並投入媒體環境監督觀察、兒少閱聽權益、關注新聞自由等工作，謝謝你一直以來的支持與鼓勵！
「ChatGPT」哇哇墜地後，聽說「OpenAI訓練的大型語言模型」很厲害。筆者不禁也想趕個流行，來測試一下這個AI人工智能的能力。據說「ChatGPT」能扮演各種角色。甚至已經有網站，為他寫了各種的角色的腳本。譬若「https://github.com」網