AI說書 - 從0開始 - 65

我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。

接著來談 Transformer 架構中的 Feedforward Network (FFN)：

• 其為全連接的神經網路架構
• 回顧 AI說書 - 從0開始 - 64 ，知 Add & Norm 的輸出維度為 3 x 512 ，其中 3 為文字個數，而接續的 Feedforward 是對每個字的 512 維度均做相同的事情，亦即 Position-Wise Network
• 原始 Google 的 Transformer 論文，對 Feedforward Network 的 Hidden 數目安排是：512 -> 2048 -> 512，所以數學來看就是：FFN(x) = max(0, xW₁ + b₁) W₂ + b₂