AI說書 - 從0開始 - 37

我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。

自 2017 年以來，OpenAI 的 ChatGPT 和 GPT-4、Google 的 PaLM 和 LaMBDA 等 Transformer 模型以及其他大型語言模型（LLM）相繼出現，然而，這只是開始！要了解 Attention Heads 如何運作才能加入人工智慧專家的新時代。

Transformer Attention Head 的想法是消除循環神經網路特徵，接下來，我們將揭開 Vaswani 等人所描述的原始 Transformer 模型的面紗，並檢視其架構的主要組成部分，然後，我們將探索迷人的 Attention 世界，並說明 Transformer 的關鍵組件。