我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
打破 Transformer 黑盒子將在設計者與實作和使用者之間建立信任，描述所有可解釋的人工智慧方法和演算法超出了本書的範圍，相反，本章將重點放在即用型視覺化介面，為 Transformer 模型開發人員和使用者提供見解。
我們首先安裝並執行 Jesse Vig 的 BertViz，Jesse Vig 在建立視覺化介面方面做得非常出色，該介面顯示了 BERT Transformer 模型 Attention Head 中的活動。
我們將繼續透過 Dictionary Learning 來探索 BERT 模型的各個層次，Local Interpretable Model-Agnostic Explanations（LIME）提供了實用功能，用於可視化一個 Transformer 如何學習理解語言，這個方法顯示，Transformer 通常首先學習單詞，然後在句子上下文中理解該單詞，最後學習長距依賴關係。
最後，我們將介紹其他工具來研究 Transformer 的內部運作原理，例如 Google 的 Language Interpretability Tool (LIT)，LIT 是一種非探測工具，使用主成分分析 (PCA) 或 Uniform Manifold Approximation and Projection (UMAP) 來表示 Transformer 模型預測，OpenAI 大型語言模型 (LLM) 將帶我們更深入地了解並透過互動式介面可視化 Transformer 中神經元的活動，例如，這種方法為 GPT-4 解釋 Transformer 打開了大門。
