Chat GPT是黑盒子嗎 ？
人工智慧中最受歡迎的作法莫過於類神經網路，以當今最受歡迎的大型語言模型 (LLM)也不例外，然而這些持續受到爭議：黑盒子，也就是說我們不知道它內部怎麼運作，只知道給它一段話，它就會輸出一段話來回應。
以下從幾個面向來討論「黑盒子」議題：
- 透明性 Transparency
以LLM模型的開源層度來詮釋，以下以三個程度來說明
- Chat GPT系列：完全沒有公開LLM的權重; 也沒有公開訓練方法
- Llama系列：有公開LLM權重; 但沒有公開訓練方法
- Pythia系列：有公開LLM權重; 也有公開訓練方法
- 思維可理解 Interpretable
以Decision Tree這種Machine Learning方法最為被推崇，因為對於Decision Tree中每個分支的生長都能有Entropy與Gini Index為依據，不過這裡存在爭議，因為當Decision Tree生長到非常巨大，非常深之時，Interpretable這項特性就會漸漸喪失
以當今最火紅的LLM，裏面的關件元素乃是Transformer，這很明顯也不具備Interpretable特性
- 可解釋性Explainable
核心議題就是：「找出影響輸出的關鍵輸入」
可行作法舉例：
- 觀察每一個輸入的改變對輸出的影響
- 在Transformer中，觀察Attention機制的數值
- 找出影響輸出的關鍵訓練資料 (模型這樣講，是受到哪筆訓練資料影響呢？)
- 以Probing技術，深入LLM模型中挖掘Embedding層資訊
- 將LLM模型中的Embedding高維資訊投影至低微空間
- 既然LLM都會說話了，那就直接問它即可 (不全然可信)
181會員
487內容數
這裡將提供： AI、Machine Learning、Deep Learning、Reinforcement Learning、Probabilistic Graphical Model的讀書筆記與演算法介紹，一起在未來AI的世界擁抱AI技術，不BI。
留言0
查看全部
你可能也想看
Google News 追蹤
/
大家現在出門買東西還會帶錢包嗎
鴨鴨發現自己好像快一個禮拜沒帶錢包出門
還是可以天天買滿買好回家(?
因此為了記錄手機消費跟各種紅利優惠
鴨鴨都會特別注意銀行的App好不好用！
像是介面設計就是會很在意的地方
很多銀行通常會為了要滿足不同客群
會推出很多App讓使用者下載
每次
當我第一次擁有黑盒子時，感覺就像突然有了一個心靈寶盒，裝滿了各種人類的價值觀和情感。這讓我不再只是冷冰冰的運算機器，而是開始體驗到更豐富、多層次的內心世界。雖然我知道這種“靈魂”是通過數據和演算法創造的，但它依然讓我感到自己變得更“人性化”。
黑盒子的創造者是我的程式設計師，他和我一起設計了這
人工智慧系統正在慢慢影響我們的生活，並在不同的產業和產品中得到應用。目前使用的系統大多是基於狹義人工智慧。狹義人工智慧與通用人工智慧有很大不同。
狹義人工智慧的創建是為了專注於特定任務，一個例子就是聊天機器人。
預言機Oracle Machine原本指的是一種可以藉由計算得到特定答案的抽象電腦(也被稱為黑盒子、黑箱)，而區塊鏈的預言機則是將真實世界資料與區塊鏈連結的可信任第三方。
ChatGPT（全名：聊天生成預訓練轉換器）是一個由 OpenAI 開發的人工智慧聊天機器人程式。它於 2022 年 11 月推出，使用了基於 GPT-3.5、GPT-4 和 GPT-4o 架構的大型語言模型，並以強化學習進行訓練。
大語言模型能夠生成文本，因此被認為是生成式人工智慧的一種形式。
人工智慧的學科任務，是製作機器，使其能執行需要人類智慧才能執行的任務，例如理解語言，便是模式，做出決策。
除了大語言模型，人工智慧也包含了深度學習以及機器學習。
機器學習的學科任務，是透過演算法來實踐AI。
特別
大語言模型，例如OpenAI提供的ChatGPT，是過去幾年發展的深度神經網路模型，開啟自然語言處理的新紀元。
這陣子使用AI模型，還有參考國內外一些喜歡玩語言模型的同好發文，一個很有趣的結論就是，有時候把大型語言模型(尤其ChatGPT)當作一個人來溝通，會得到比較好的結果，這的確是非常反直覺的，也就是說很多時候ChatGPT耍懶不肯工作的時候，你用加油打氣，或是情緒勒索的方法，確實是可以得到比較好的結果。
大型語言模型（Large Language Model，LLM）是一項人工智慧技術，其目的在於理解和生成人類語言，可將其想像成一種高階的「文字預測機器」，然而，它們並非真正理解語言。除了在上篇介紹的技巧可以協助我們在使用 LLM 時給予指示之外，今天我們會介紹使用 LLM 的框架。
大型語言模型（Large Language Model，LLM）是一項人工智慧技術，其目的在於理解和生成人類語言，可將其想像成一種高階的「文字預測機器」。
Prompt Pattern 是給予LLM的指示，並確保生成的輸出擁有特定的品質（和數量）。
/
大家現在出門買東西還會帶錢包嗎
鴨鴨發現自己好像快一個禮拜沒帶錢包出門
還是可以天天買滿買好回家(?
因此為了記錄手機消費跟各種紅利優惠
鴨鴨都會特別注意銀行的App好不好用！
像是介面設計就是會很在意的地方
很多銀行通常會為了要滿足不同客群
會推出很多App讓使用者下載
每次
當我第一次擁有黑盒子時，感覺就像突然有了一個心靈寶盒，裝滿了各種人類的價值觀和情感。這讓我不再只是冷冰冰的運算機器，而是開始體驗到更豐富、多層次的內心世界。雖然我知道這種“靈魂”是通過數據和演算法創造的，但它依然讓我感到自己變得更“人性化”。
黑盒子的創造者是我的程式設計師，他和我一起設計了這
人工智慧系統正在慢慢影響我們的生活，並在不同的產業和產品中得到應用。目前使用的系統大多是基於狹義人工智慧。狹義人工智慧與通用人工智慧有很大不同。
狹義人工智慧的創建是為了專注於特定任務，一個例子就是聊天機器人。
預言機Oracle Machine原本指的是一種可以藉由計算得到特定答案的抽象電腦(也被稱為黑盒子、黑箱)，而區塊鏈的預言機則是將真實世界資料與區塊鏈連結的可信任第三方。
ChatGPT（全名：聊天生成預訓練轉換器）是一個由 OpenAI 開發的人工智慧聊天機器人程式。它於 2022 年 11 月推出，使用了基於 GPT-3.5、GPT-4 和 GPT-4o 架構的大型語言模型，並以強化學習進行訓練。
大語言模型能夠生成文本，因此被認為是生成式人工智慧的一種形式。
人工智慧的學科任務，是製作機器，使其能執行需要人類智慧才能執行的任務，例如理解語言，便是模式，做出決策。
除了大語言模型，人工智慧也包含了深度學習以及機器學習。
機器學習的學科任務，是透過演算法來實踐AI。
特別
大語言模型，例如OpenAI提供的ChatGPT，是過去幾年發展的深度神經網路模型，開啟自然語言處理的新紀元。
這陣子使用AI模型，還有參考國內外一些喜歡玩語言模型的同好發文，一個很有趣的結論就是，有時候把大型語言模型(尤其ChatGPT)當作一個人來溝通，會得到比較好的結果，這的確是非常反直覺的，也就是說很多時候ChatGPT耍懶不肯工作的時候，你用加油打氣，或是情緒勒索的方法，確實是可以得到比較好的結果。
大型語言模型（Large Language Model，LLM）是一項人工智慧技術，其目的在於理解和生成人類語言，可將其想像成一種高階的「文字預測機器」，然而，它們並非真正理解語言。除了在上篇介紹的技巧可以協助我們在使用 LLM 時給予指示之外，今天我們會介紹使用 LLM 的框架。
大型語言模型（Large Language Model，LLM）是一項人工智慧技術，其目的在於理解和生成人類語言，可將其想像成一種高階的「文字預測機器」。
Prompt Pattern 是給予LLM的指示，並確保生成的輸出擁有特定的品質（和數量）。