AI說書 - 從0開始 - 266 | Transformer 視覺化透過 Dictionary Learning

我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。

Yun et al. (2021) 的論文探討了 Dictionary Learning 在深度學習和自然語言處理中的應用，Dictionary Learning 是一種機器學習技術，用於從數據中學習一組基 (Basis) 或詞典 (dictionary)，這些基可以用來稀疏表示原始數據，這種方法在信號處理和圖像處理等領域有著廣泛的應用，並且最近也被用於自然語言處理和其他深度學習領域。

Dictionary Learning 的目標是找出一組「基」或「字典」，使得輸入數據能夠用這些基的稀疏線性組合來逼近，這種表示方法非常適合捕捉數據中的隱含結構，Yun 等人在這篇論文中提出了如何利用 Dictionary Learning 來解釋深度學習模型，如BERT，內部的工作原理，他們探討了使用 Dictionary Learning 來分析這些模型的中間表示，以揭示模型如何在理解語言時學習和使用特徵，這項研究的結果有助於提高對深度學習模型，特別是 Transformer 模型的解釋性理解，這對於需要理解模型決策背後的原因，特別是在高風險應用中，如醫療診斷或自動駕駛非常重要。

Dictionary Learning 的核心數學想法為：

當中

針對 Transformer 模型，如BERT等，論文提取每一層中的激活值 (或隱藏狀態)，這些激活值可以看作是模型學習到的特徵表示，通常是高維的，對於每一層的激活值，使用Dictionary Learning 方法來找出一組基向量 (字典 D)，使得這些激活值可以用稀疏係數矩陣 A 來近似重建，這樣做的目的是將高維激活值映射到低維的稀疏表示空間中，通過分析 Dictionary Learning 得到的字典 D 和稀疏係數矩陣 A，可以揭示出 Transformer 模型在每一層中所學習到的特徵及其相對重要性，特別是，稀疏表示 A 可以顯示出哪些特徵 (即字典中的基向量) 對應於輸入數據中的特定模式。