我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
Dictionary Learning 的目標是找出一組「基」或「字典」，使得輸入數據能夠用這些基的稀疏線性組合來逼近，這種表示方法非常適合捕捉數據中的隱含結構，Yun 等人在這篇論文中提出了如何利用 Dictionary Learning 來解釋深度學習模型，如BERT，內部的工作原理，他們探討了使用 Dictionary Learning 來分析這些模型的中間表示，以揭示模型如何在理解語言時學習和使用特徵，這項研究的結果有助於提高對深度學習模型，特別是 Transformer 模型的解釋性理解，這對於需要理解模型決策背後的原因，特別是在高風險應用中，如醫療診斷或自動駕駛非常重要。
Dictionary Learning 的核心數學想法為：
當中
針對 Transformer 模型，如BERT等，論文提取每一層中的激活值 (或隱藏狀態)，這些激活值可以看作是模型學習到的特徵表示，通常是高維的，對於每一層的激活值，使用Dictionary Learning 方法來找出一組基向量 (字典 D)，使得這些激活值可以用稀疏係數矩陣 A 來近似重建，這樣做的目的是將高維激活值映射到低維的稀疏表示空間中，通過分析 Dictionary Learning 得到的字典 D 和稀疏係數矩陣 A，可以揭示出 Transformer 模型在每一層中所學習到的特徵及其相對重要性，特別是，稀疏表示 A 可以顯示出哪些特徵 (即字典中的基向量) 對應於輸入數據中的特定模式。
