Chat GPT是黑盒子嗎 ？
閱讀時間約 1 分鐘
人工智慧中最受歡迎的作法莫過於類神經網路，以當今最受歡迎的大型語言模型 (LLM)也不例外，然而這些持續受到爭議：黑盒子，也就是說我們不知道它內部怎麼運作，只知道給它一段話，它就會輸出一段話來回應。
以下從幾個面向來討論「黑盒子」議題：
- 透明性 Transparency
以LLM模型的開源層度來詮釋，以下以三個程度來說明
- Chat GPT系列：完全沒有公開LLM的權重; 也沒有公開訓練方法
- Llama系列：有公開LLM權重; 但沒有公開訓練方法
- Pythia系列：有公開LLM權重; 也有公開訓練方法
- 思維可理解 Interpretable
以Decision Tree這種Machine Learning方法最為被推崇，因為對於Decision Tree中每個分支的生長都能有Entropy與Gini Index為依據，不過這裡存在爭議，因為當Decision Tree生長到非常巨大，非常深之時，Interpretable這項特性就會漸漸喪失
以當今最火紅的LLM，裏面的關件元素乃是Transformer，這很明顯也不具備Interpretable特性
- 可解釋性Explainable
核心議題就是：「找出影響輸出的關鍵輸入」
可行作法舉例：
- 觀察每一個輸入的改變對輸出的影響
- 在Transformer中，觀察Attention機制的數值
- 找出影響輸出的關鍵訓練資料 (模型這樣講，是受到哪筆訓練資料影響呢？)
- 以Probing技術，深入LLM模型中挖掘Embedding層資訊
- 將LLM模型中的Embedding高維資訊投影至低微空間
- 既然LLM都會說話了，那就直接問它即可 (不全然可信)
131會員
305內容數
這裡將提供： AI、Machine Learning、Deep Learning、Reinforcement Learning、Probabilistic Graphical Model的讀書筆記與演算法介紹，一起在未來AI的世界擁抱AI技術，不BI。
留言0
查看全部
你可能也想看
1.加權指數與櫃買指數
週五的加權指數在非農就業數據開出來後，雖稍微低於預期，但指數仍向上噴出，在美股開盤後於21500形成一個爆量假突破後急轉直下，就一路收至最低。 台股方面走勢需觀察週一在斷頭潮出現後，週二或週三開始有無買單進場支撐，在沒有明確的反轉訊號形成前，小夥伴盡量不要貿然抄底，或是追空
重點摘要：
1.9 月降息 2 碼、進一步暗示年內還有 50 bp 降息
2.SEP 上修失業率預期，但快速的降息速率將有助失業率觸頂
3.未來幾個月經濟數據將繼續轉弱，經濟復甦的時點或是 1Q25 季底附近
近期的「貼文發佈流程 & 版型大更新」功能大家使用了嗎？
新版式整體視覺上「更加凸顯圖片」，為了搭配這次的更新，我們推出首次貼文策展 ❤️
使用貼文功能並完成這次的指定任務，還有機會獲得富士即可拍，讓你的美好回憶都可以用即可拍珍藏！
Heypi 使用感受：介面非常簡潔、乾淨。使用起來很方便，而且免費。需要的小夥伴快去體驗吧~體驗地址在最後~
Pi是一種新型AI，能夠以自然、流暢的風格進行對話。並且能夠提供友善的建議和簡潔的資訊。優先處理與人的對話，提高工作效率、搜尋或回答問題。
ChatGPT 是由 OpenAI 開發的一種人工智能語言模型，它基於 GPT-3.5 架構。GPT 的全名是 "Generative Pre-trained Transformer"，它是一種預訓練的自然語言處理模型。GPT-3.5 是 GPT 系列的最新版本，它在 GPT-3 的基礎上進行了改進
這篇文章介紹了ChatGPT，一種大型的語言模型，能以自然語言回答問題，但不透過搜尋罐頭文字或網路內容。其核心技術是自監督式學習，通過大量的網路資料進行訓練，讓模型能進行文字接龍。儘管GPT系列經歷了多次演進，並需用大量的訓練資料，它的問答能力仍有待提升。然而，透過不斷優化，我們已有了更進一步的版本
在面試準備的過程中，我們可能會發現自己對某些領域缺乏相關的專業知識，尤其是廣泛的領域如Marketing更是如此，永遠都有學不完的知識。這時候不需要因為看到陌生的名詞而感到沮喪。相反地，我們可以善用現有的資源，例如 Chat GPT 等實用軟體，從網路上輕鬆獲得所需的知識，以增強自己的硬實力。
本文介紹了如何使用 Chat GPT 進行面試準備，以提高面試成功率。同時，使用 Chat GPT 還能幫助你製作出更有組織性的文章，讓你的回答更易於閱讀和理解。儘管 Chat GPT 提供了有價值的輔助，成功仍然取決於面試者本身的充分準備和自信，只有這樣才能在面試中脫穎而出。
雖然它現在很紅，但還是幫不知道的人介紹一下它是什麼東西呢
不如...讓它自己介紹自己吧
基本上它的語言能力已經強到即使用中文溝通也不會讓中文人士覺得語句有不順暢的地方，當然它更強的是可以在所有領域的問題都找的到答案，例如:
但關於投資建議或是對於人類重要的選擇，它似乎會做很模稜兩可的回答
但由於它其
如果你喜歡這個專題，歡迎 #單筆 或 #定期定額 贊助我們，這將能支持我們持續關心並投入媒體環境監督觀察、兒少閱聽權益、關注新聞自由等工作，謝謝你一直以來的支持與鼓勵！
「ChatGPT」哇哇墜地後，聽說「OpenAI訓練的大型語言模型」很厲害。筆者不禁也想趕個流行，來測試一下這個AI人工智能的能力。據說「ChatGPT」能扮演各種角色。甚至已經有網站，為他寫了各種的角色的腳本。譬若「https://github.com」網
1.加權指數與櫃買指數
週五的加權指數在非農就業數據開出來後，雖稍微低於預期，但指數仍向上噴出，在美股開盤後於21500形成一個爆量假突破後急轉直下，就一路收至最低。 台股方面走勢需觀察週一在斷頭潮出現後，週二或週三開始有無買單進場支撐，在沒有明確的反轉訊號形成前，小夥伴盡量不要貿然抄底，或是追空
重點摘要：
1.9 月降息 2 碼、進一步暗示年內還有 50 bp 降息
2.SEP 上修失業率預期，但快速的降息速率將有助失業率觸頂
3.未來幾個月經濟數據將繼續轉弱，經濟復甦的時點或是 1Q25 季底附近
近期的「貼文發佈流程 & 版型大更新」功能大家使用了嗎？
新版式整體視覺上「更加凸顯圖片」，為了搭配這次的更新，我們推出首次貼文策展 ❤️
使用貼文功能並完成這次的指定任務，還有機會獲得富士即可拍，讓你的美好回憶都可以用即可拍珍藏！
Heypi 使用感受：介面非常簡潔、乾淨。使用起來很方便，而且免費。需要的小夥伴快去體驗吧~體驗地址在最後~
Pi是一種新型AI，能夠以自然、流暢的風格進行對話。並且能夠提供友善的建議和簡潔的資訊。優先處理與人的對話，提高工作效率、搜尋或回答問題。
ChatGPT 是由 OpenAI 開發的一種人工智能語言模型，它基於 GPT-3.5 架構。GPT 的全名是 "Generative Pre-trained Transformer"，它是一種預訓練的自然語言處理模型。GPT-3.5 是 GPT 系列的最新版本，它在 GPT-3 的基礎上進行了改進
這篇文章介紹了ChatGPT，一種大型的語言模型，能以自然語言回答問題，但不透過搜尋罐頭文字或網路內容。其核心技術是自監督式學習，通過大量的網路資料進行訓練，讓模型能進行文字接龍。儘管GPT系列經歷了多次演進，並需用大量的訓練資料，它的問答能力仍有待提升。然而，透過不斷優化，我們已有了更進一步的版本
在面試準備的過程中，我們可能會發現自己對某些領域缺乏相關的專業知識，尤其是廣泛的領域如Marketing更是如此，永遠都有學不完的知識。這時候不需要因為看到陌生的名詞而感到沮喪。相反地，我們可以善用現有的資源，例如 Chat GPT 等實用軟體，從網路上輕鬆獲得所需的知識，以增強自己的硬實力。
本文介紹了如何使用 Chat GPT 進行面試準備，以提高面試成功率。同時，使用 Chat GPT 還能幫助你製作出更有組織性的文章，讓你的回答更易於閱讀和理解。儘管 Chat GPT 提供了有價值的輔助，成功仍然取決於面試者本身的充分準備和自信，只有這樣才能在面試中脫穎而出。
雖然它現在很紅，但還是幫不知道的人介紹一下它是什麼東西呢
不如...讓它自己介紹自己吧
基本上它的語言能力已經強到即使用中文溝通也不會讓中文人士覺得語句有不順暢的地方，當然它更強的是可以在所有領域的問題都找的到答案，例如:
但關於投資建議或是對於人類重要的選擇，它似乎會做很模稜兩可的回答
但由於它其
如果你喜歡這個專題，歡迎 #單筆 或 #定期定額 贊助我們，這將能支持我們持續關心並投入媒體環境監督觀察、兒少閱聽權益、關注新聞自由等工作，謝謝你一直以來的支持與鼓勵！
「ChatGPT」哇哇墜地後，聽說「OpenAI訓練的大型語言模型」很厲害。筆者不禁也想趕個流行，來測試一下這個AI人工智能的能力。據說「ChatGPT」能扮演各種角色。甚至已經有網站，為他寫了各種的角色的腳本。譬若「https://github.com」網