我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
Google AI 的 Pathways Language Model（PaLM）擁有 5400 億個參數，並且是在稍早探討的 Pathways ML 系統上訓練的，PaLM 是在 6144 個 TPU v4 晶片上進行訓練的，Google 改進了 LLM 訓練過程中的許多方面，以下介紹其關鍵進展之一：
一個 Transformer 模塊是一個計算單元，其主要由一個注意力層、前饋神經網路（MLP）以及層正規化層構成，我們可以用以下方程來表示經典的 Transformer 模塊：y = x + MLP(LayerNorm(x + Attention(LayerNorm(x))))，這個概念的核心在於，MLP 包含了之前的子層和正規化，注意力子層緊隨嵌入輸入子層之後，而 MLP 則涵蓋了所有這些內容。
而 Google AI 團隊則以以下方式實踐 Transformer 模塊，以實現平行處理：y = x + MLP(LayerNorm(x)) + Attention(LayerNorm(x))。
