AI說書 - 從0開始 - 128 | Transformer 和 BERT 模型參數比較

我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。

Transformer 的關鍵參數為：

• 原始 Transformer 模型中，左圖的 N = 6
• 原始 Transformer 模型中，輸入 Multi-Head Attention 的維度是 [Token數, 512]，記為 d_model = 512
• 原始 Transformer 模型中，Multi-Head Attention 有八個 Head，記為 A = 8
• 原始 Transformer 模型中，Attention Head 的維度是 64，記為 d_k = 64

現在我們來闡述 Bidirectional Encoder Representations from Transformers (BERT) 模型的關鍵參數：

• BERT_Base 模型的 N = 12
• BERT_Base 模型的 d_model = 768
• BERT_Base 模型的 A = 12
• BERT_Base 模型的 d_k = 64

還有一種比較大模型的 BERT，其關鍵參數為：

• BERT_Large 模型的 N = 24
• BERT_Large 模型的 d_model = 1024
• BERT_Large 模型的 A = 16
• BERT_Large 模型的 d_k = 64

Transformer、BERT_Base 與 BERT_Large 的模型比較如下圖所示：