AI說書 - 從0開始 - 275 | OpenAI Transformer 模型之視覺化

我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。

GPT-4 等大型語言模型 (LLM) 可以解釋語言模型中的神經元，OpenAI 創建了直覺的介面並於 2023 年 5 月公開。人工智慧的歷史在非常短的時間內已經達到了另一個層次，這一代 LLM 將引領隨後可能呈指數增長的進步，並可能擴展到其他領域，可以點擊以下連結進行可解釋器的說明：https://openaipublic.blob.core.windows.net/neuron-explainer/neuron-viewer/index.html

我們可以選擇 Layer、Index 以及 Go to 特定神經元等參數來進行解釋，如下圖所示：

點擊之後會出現選擇到的 Token 為「ME」的畫面：