我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。



首先先展示 Transformer 的架構圖：

可以看到架構中不再出現 RNN 、 LSTM 、 CNN 等物件，因為 Recurrence 已被摒棄。 



<html lang="en"><head><style>              .article-container {                width: 100%;                font-family: Microsoft JhengHei,Helvetica Neue,Helvetica,Arial,sans-serif;              }              ul, ol {                margin: 12px auto;                max-width: 740px;                color: #535150;                line-height: 1.8;                padding-left: 0px;              }              .graf--img {                display: table;                justify-content: center;                align-items: center;                text-align: center;                color: gray;                font-size: 14px;                letter-spacing: 0px;                margin: 10px auto 50px;                width: 100%;                position: relative;                clear: both;              }              .graf--img.center img {                width: 100%;                max-width: 740px;                margin: 10px auto 0px;                display: block;                margin: 0 auto;              }              .graf--img.full img {                width: 100%;              }              .captionTheme__wrapper {                width: 100%;                font-style: normal;                line-height: 22px;                font-size: 16px;                max-width: 600px;                margin-top: 8px;                display: inline-block;              }              .graf--img.full {                max-width: 100%;                margin: 40px 0px;                display: block;                margin: 0 auto;                align-items: center;              }              .graf--figure {                text-align: center;                color: gray;                font-style: italic;                font-size: 15px;                margin: 28px auto;                box-sizing: border-box;              }              .graf--figure iframe {                width: 100%;                max-width: 740px;                margin: 0 auto;              }              .graf--p {                font-size: 16px;                line-height: 1.8;                font-family: "Microsoft JhengHei fixed", "Helvetica Neue" ,"Microsoft JhengHei", Helvetica, "Segoe UI", Tahoma, Arial, sans-serif;                letter-spacing: 1px;                font-weight: 400;                max-width: 740px;                color: #535150;                text-align: left;              }              .graf--p > a {                color: #00B3C6 !important;                text-decoration: none !important;              }              .graf--li > a {                color: #00B3C6 !important;                text-decoration: none !important;              }              .graf--quotesSpecial > a {                color: #00B3C6 !important;                text-decoration: none !important;              }              .graf--blockquote > a {                color: #00B3C6 !important;                text-decoration: none !important;              }              .graf--h1 > a {                color: #00B3C6 !important;                text-decoration: none !important;              }              .graf--h2 > a {                color: #00B3C6 !important;                text-decoration: none !important;              }              .graf--h3 > a {                color: #00B3C6 !important;                text-decoration: none !important;              }              a.graf--mention {                color: #535150 !important;                text-decoration: underline !important;                font-weight: 700;              }              .graf--h2 {                font-size: 24px;                padding: 0;                max-width: 740px;                text-align: left;                letter-spacing: 1px;                font-weight: 700;                margin-top: 34px;                line-height: 1.5;              }              .graf--h3 {                font-size: 18px;                padding: 0;                max-width: 740px;                text-align: left;                letter-spacing: 1px;                font-weight: 700;                margin-top: 28px;                line-height: 1.5;              }              .graf--li {                font-size: 16px;                padding: 0px 0px 0px 4px;                font-weight: 400;                letter-spacing: 0px;                list-style-position: outside;                text-align:left;                margin-left: 24px;              }              .graf--hr {                width: 100%;                margin: 0px auto;                transform: translateY(-50%);                position: relative;                padding: 0px;                text-align: left;                max-width: 740px;                margin: 0 auto;              }              .graf--hr hr {                height: 0;              }              .graf--blockquote {                padding: 10px 0px 10px 16px;                font-size: 16px;                color: #7A7574;                letter-spacing: 1px;                margin: 28px 0px;                border-left: 4px solid #DDD9D8;                width: 100%;                max-width: 740px;                text-align: left;              }              .graf--quotesSpecial {                display: table;                color: #7A7574;                position: relative;                padding: 31.5px 40px;                text-align: center;                letter-spacing: 0px;                position: relative;                margin: 29px auto;                font-family: "Microsoft JhengHei fixed", "Helvetica Neue", "Microsoft JhengHei", Helvetica, "Segoe UI", Tahoma, Arial, sans-serif;                font-size: 16px;                -webkit-box-ordinal-group: 1;                -webkit-box-flex: 0;              }              .embed-wrapper {                max-width: 740px;                border: 1px solid #DDD9D8;                display: block;                padding: 12px;                border-radius: 8px;                margin: 12px 0px;                text-decoration: none !important;              }              .embed-title {                font-size: 16px;                font-weight: 700;                color: #535150;                margin-bottom: 8px;                text-align: left;                line-height: 1.5;                text-decoration: none !important;              }              .embed-description {                width: 100%;                font-size: 14px;                color: #7A7574;                line-height: 1.5;                max-height: 150px;                text-align: left;                overflow: hidden;                padding: 12px 0px;              }              .embed-url > a {                width: 100%;                font-size: 14px;                color: #141413 !important;                text-decoration: none !important;                line-height: 1.5;                text-align: left;              }                            .embed-thumbnail-wrapper {                padding-left: 12px;              }              .embed-thumbnail {                width:100px;                border-radius: 8px;              }              pre {                background: #F6F6F6;                border-radius: 8px;                padding: 16px;                font-size: 16px;                color: #535150;                line-height: 180%;                text-align: left;              }              .lexical__textBold {                font-weight: bold;              }              .lexical__textItalic {                font-style: italic;              }              .lexical__textUnderline {                text-decoration: underline;              }              .lexical__textStrikethrough {                text-decoration: line-through;              }              .lexical__textUnderlineStrikethrough {                text-decoration: underline line-through;              }              .lexical__textSubscript {                font-size: 0.8em;                vertical-align: sub;              }              .lexical__textSuperscript {                font-size: 0.8em;                vertical-align: super;              }              .lexical__textCode {                background-color: rgb(240, 242, 245);                padding: 1px 0.25rem;                font-family: Menlo, Consolas, Monaco, monospace;                font-size: 94%;              }            </style></head><body><div class="article-container"><p class="graf--p" dir="ltr"><span style="white-space: pre-wrap;">我想要一天分享一點「</span><b><strong class="lexical__textBold" style="white-space: pre-wrap;">LLM從底層堆疊的技術</strong></b><span style="white-space: pre-wrap;">」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。</span></p><p class="graf--p"><br></p><p class="graf--p" dir="ltr"><span style="white-space: pre-wrap;">首先先展示 Transformer 的架構圖：</span></p><div class="graf--img center"><div class="lexical__imageWrapper"><img src="https://images.vocus.cc/90eec69c-f3cd-4951-9df4-413cb0bd0d9f.png" data-src="https://d2a6d2ofes041u.cloudfront.net/resize?compression=6&norotation=true&url=https%3A%2F%2Fimages.vocus.cc%2F90eec69c-f3cd-4951-9df4-413cb0bd0d9f.png&width=740&sign=jZvLPaOWIusLNS8fSjEFWrAK0of4tfMFLrpb0jqpoys" class="lazy" data-original-src="https://images.vocus.cc/90eec69c-f3cd-4951-9df4-413cb0bd0d9f.png" data-lowquality="false" data-width="978" data-height="1206" alt="raw-image"></div><div></div></div><p class="graf--p" dir="ltr"><span style="white-space: pre-wrap;">可以看到架構中不再出現 RNN 、 LSTM 、 CNN 等物件，因為 Recurrence 已被摒棄。 </span></p><h2 class="graf--h2"><br><br></h2></div></body></html>

以行動支持創作者！付費即可解鎖

學習

AI說書 - 從0開始 - 40

AI說書 - 從0開始 - 38

提供一條簡單公式、一套盤點思路，幫助你快速算出去日本自助旅遊需要準備多少日幣現金！

逗點的沙龍

去日本自助旅行要帶多少日幣現金？最新經驗談

我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。



Transformer 可以透過繼承預訓練模型 (Pretrained Model) 來微調 (Fine-Tune) 以執行下游任務。



Pretrained Mo

Learn AI 不 BI

AI說書 - 從0開始 - 82

我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。



如 AI說書 - 從0開始 - 78 所述，經過 AI說書 - 從0開始 - 74 到目前為止的實驗，應可以漸漸感受到 Transformer 模型如何從數學層面漸漸往

AI說書 - 從0開始 - 79

我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。



先做個總回顧：

Transformer 架構總覽：AI說書 - 從0開始 - 39

Attention 意圖說明：AI說書 - 從0開始 - 40

Transfo

AI說書 - 從0開始 - 66

我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。



回顧 AI說書 - 從0開始 - 62 說：如果我參照原始 Google 釋出的 Transformer 論文的參數，在三個字的句子情況下，Single-Head At

AI說書 - 從0開始 - 63

我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。



Transformers for Natural Language Processing and Computer Vision, 2024 這本書中講 Attenti

AI說書 - 從0開始 - 52

我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。



再度回到 Transformer 架構中的 Encoder 部分，如下圖所示：



我現在手上有的素材如下：

Embedding 訓練方式：AI說書 - 從0開始 

AI說書 - 從0開始 - 49

我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。



回顧我們在AI說書 - 從0開始 - 41中，提及 Transformer 的 Encoder 架構如下圖所示：



此外我已經在AI說書 - 從0開始 - 42中，

AI說書 - 從0開始 - 47

閱讀書評

職場

三分鐘學AI

這裡將提供： AI、Machine Learning、Deep Learning、Reinforcement Learning、Probabilistic Graphical Model的讀書筆記與演算法介紹，一起在未來AI的世界擁抱AI技術，不BI。

<div class="draft-block draft--p left">3D軟體裡面的材質貼圖早期都使用512 x 512的尺寸去畫材質，這個與您談到的512有關係嗎？</div>

我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。



在AI說書 - 從0開始 - 41中，我們提及 Transformer 的 Encoder 架構如下圖所示，同時我們羅列幾個要點於圖示右邊：

原始 Transform

AI說書 - 從0開始 - 42

我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。



繼AI說書 - 從0開始 - 39，我們陳述了 Transformer 的全貌，那 Transformer 的 Encoder 部分長怎樣呢，如下所示：



在原始 

AI說書 - 從0開始 - 41

AI說書 - 從0開始 - 39

AI從0開始-第二章

AI從0開始-第一章

AI馴獸師-第零章

AI馴獸師-第一章

AI從0開始-第三章

AI從0開始-第四章

AI馴獸師-第二章

AI從0開始-第五章

AI從0開始-第六章

AI從0開始-第七章

AI馴獸師-第三章

AI從0開始-第八章

AI從0開始-第九章

AI馴獸師-第四章

AI從0開始-第十章

AI從0開始-十一章

AI馴獸師-第五章

AI從0開始-十二章

AI從0開始-十三章

AI馴獸師-第六章

三分鐘學AI (2)

證照相關

自然語言處理相關

機率圖模型

AI從0開始-十四章

AI馴獸師-第七章

AI從0開始-十五章

AI從0開始-十六章

AI馴獸師-第八章

AI從0開始-十七章

AI從0開始-十八章

AI從0開始-十九章

AI馴獸師-第九章

AI從0開始-二十章

三分鐘學AI (3)

AI馴獸師-第十章

AI馴獸師-第十一章

AI馴獸師-第十二章

AI馴獸師-第十三章

AI馴獸師-第十四章

AI馴獸師-第十五章

AI馴獸師-第十六章

AI馴獸師-第十七章

AI馴獸師-第十八章

AI馴獸師-第十九章

三分鐘學AI (4)

AI馴獸師-第二十章

AI馴獸師-二十一章

AI馴獸師-二十二章

AI馴獸師-二十三章

AI馴獸師-二十四章

AI馴獸師-二十五章

三分鐘學AI (5)

<p class="lexical__paragraph" dir="ltr"><span style="white-space: pre-wrap;">我想要一天分享一點「</span><b><strong class="lexical__textBold" style="white-space: pre-wrap;">LLM從底層堆疊的技術</strong></b><span style="white-space: pre-wrap;">」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。</span></p><p class="lexical__paragraph"><br></p><p class="lexical__paragraph" dir="ltr"><div class="ad-placeholder" style="min-height: 124px;"></div><span style="white-space: pre-wrap;">首先先展示 Transformer 的架構圖：</span></p><div class="lexical__image center"><div class="lexical__imageWrapper"><img src="https://resize-image.vocus.cc/resize?compression=6&amp;norotation=true&amp;url=https%3A%2F%2Fimages.vocus.cc%2F90eec69c-f3cd-4951-9df4-413cb0bd0d9f.png&amp;width=740&amp;sign=jZvLPaOWIusLNS8fSjEFWrAK0of4tfMFLrpb0jqpoys" data-src="https://resize-image.vocus.cc/resize?compression=6&amp;norotation=true&amp;url=https%3A%2F%2Fimages.vocus.cc%2F90eec69c-f3cd-4951-9df4-413cb0bd0d9f.png&amp;width=740&amp;sign=jZvLPaOWIusLNS8fSjEFWrAK0of4tfMFLrpb0jqpoys" data-loaded="true" data-original-src="https://images.vocus.cc/90eec69c-f3cd-4951-9df4-413cb0bd0d9f.png" data-lowquality="false" data-width="978" data-height="1206" data-retry="0" onerror="Number(this.dataset.retry) > 4 ? this.src='/static/default-error-img.svg': (() => {this.src=this.dataset.originalSrc; this.dataset.retry = Number(this.dataset.retry)+1;})()" alt="raw-image"></div><div></div></div><p class="lexical__paragraph" dir="ltr"><span style="white-space: pre-wrap;">可以看到架構中不再出現 RNN 、 LSTM 、 CNN 等物件，因為 Recurrence 已被摒棄。 </span></p><h2 class="lexical__h2"><br><br></h2>

<div class="draft-block draft--p left">不太一樣，這裡的512可以想像成「把知識濃縮成512個維度」，那變大或變小都是可以自己調整的，變大的好處是可以學的更多，但缺點就是會比較消耗GPU資源，然後我們常常會遇到2的整數次方這種數字出現在AI領域中，例如512就是2的九次方，因為數位運算的關係，這種數字會常常碰到，例如隨著GPU的發展，等級越來越高，會出現比512更大的數字，例如1024、2048等等 </div>