我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。
在 AI說書 - 從0開始 - 269 | 互動式 Transformer 視覺化介面 中,闡述了一項視覺化介面,其例子如下:
在 Transformer 架構中,追蹤較低 Layer 的 "Separate" 一詞:僅限於較低層次的理解
在 Transformer 架構中,追蹤較高 Layer 的 "Separate" 一詞:展現較高層次的理解