Chat GPT是黑盒子嗎 ？

人工智慧中最受歡迎的作法莫過於類神經網路，以當今最受歡迎的大型語言模型 (LLM)也不例外，然而這些持續受到爭議：黑盒子，也就是說我們不知道它內部怎麼運作，只知道給它一段話，它就會輸出一段話來回應。

以下從幾個面向來討論「黑盒子」議題：

• 透明性 Transparency

以LLM模型的開源層度來詮釋，以下以三個程度來說明

1. Chat GPT系列：完全沒有公開LLM的權重; 也沒有公開訓練方法
2. Llama系列：有公開LLM權重; 但沒有公開訓練方法
3. Pythia系列：有公開LLM權重; 也有公開訓練方法

• 思維可理解 Interpretable

以Decision Tree這種Machine Learning方法最為被推崇，因為對於Decision Tree中每個分支的生長都能有Entropy與Gini Index為依據，不過這裡存在爭議，因為當Decision Tree生長到非常巨大，非常深之時，Interpretable這項特性就會漸漸喪失

以當今最火紅的LLM，裏面的關件元素乃是Transformer，這很明顯也不具備Interpretable特性

• 可解釋性Explainable

核心議題就是：「找出影響輸出的關鍵輸入」

可行作法舉例：

1. 觀察每一個輸入的改變對輸出的影響
2. 在Transformer中，觀察Attention機制的數值
3. 找出影響輸出的關鍵訓練資料 (模型這樣講，是受到哪筆訓練資料影響呢？)
4. 以Probing技術，深入LLM模型中挖掘Embedding層資訊
5. 將LLM模型中的Embedding高維資訊投影至低微空間
6. 既然LLM都會說話了，那就直接問它即可 (不全然可信)

資訊來源：https://www.youtube.com/watch?v=rZzfqkfZhY8