我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。



本章節的內容需要從 Hugging Face 中載入 T5 模型，有鑑於此，我們首先登入頁面： https://huggingface.co/models，如下所示：


<html lang="en"><head><style>              .article-container {                width: 100%;                font-family: Microsoft JhengHei,Helvetica Neue,Helvetica,Arial,sans-serif;              }              ul, ol {                margin: 12px auto;                max-width: 740px;                color: #535150;                line-height: 1.8;                padding-left: 0px;              }              .graf--img {                display: table;                justify-content: center;                align-items: center;                text-align: center;                color: gray;                font-size: 14px;                letter-spacing: 0px;                margin: 10px auto 50px;                width: 100%;                position: relative;                clear: both;              }              .graf--img.center img {                width: 100%;                max-width: 740px;                margin: 10px auto 0px;                display: block;                margin: 0 auto;              }              .graf--img.full img {                width: 100%;              }              .captionTheme__wrapper {                width: 100%;                font-style: normal;                line-height: 22px;                font-size: 16px;                max-width: 600px;                margin-top: 8px;                display: inline-block;              }              .graf--img.full {                max-width: 100%;                margin: 40px 0px;                display: block;                margin: 0 auto;                align-items: center;              }              .graf--figure {                text-align: center;                color: gray;                font-style: italic;                font-size: 15px;                margin: 28px auto;                box-sizing: border-box;              }              .graf--figure iframe {                width: 100%;                max-width: 740px;                margin: 0 auto;              }              .graf--p {                font-size: 16px;                line-height: 1.8;                font-family: "Microsoft JhengHei fixed", "Helvetica Neue" ,"Microsoft JhengHei", Helvetica, "Segoe UI", Tahoma, Arial, sans-serif;                letter-spacing: 1px;                font-weight: 400;                max-width: 740px;                color: #535150;                text-align: left;              }              .graf--p > a {                color: #00B3C6 !important;                text-decoration: none !important;              }              .graf--li > a {                color: #00B3C6 !important;                text-decoration: none !important;              }              .graf--quotesSpecial > a {                color: #00B3C6 !important;                text-decoration: none !important;              }              .graf--blockquote > a {                color: #00B3C6 !important;                text-decoration: none !important;              }              .graf--h1 > a {                color: #00B3C6 !important;                text-decoration: none !important;              }              .graf--h2 > a {                color: #00B3C6 !important;                text-decoration: none !important;              }              .graf--h3 > a {                color: #00B3C6 !important;                text-decoration: none !important;              }              a.graf--mention {                color: #535150 !important;                text-decoration: underline !important;                font-weight: 700;              }              .graf--h2 {                font-size: 24px;                padding: 0;                max-width: 740px;                text-align: left;                letter-spacing: 1px;                font-weight: 700;                margin-top: 34px;                line-height: 1.5;              }              .graf--h3 {                font-size: 18px;                padding: 0;                max-width: 740px;                text-align: left;                letter-spacing: 1px;                font-weight: 700;                margin-top: 28px;                line-height: 1.5;              }              .graf--li {                font-size: 16px;                padding: 0px 0px 0px 4px;                font-weight: 400;                letter-spacing: 0px;                list-style-position: outside;                text-align:left;                margin-left: 24px;              }              .graf--hr {                width: 100%;                margin: 0px auto;                transform: translateY(-50%);                position: relative;                padding: 0px;                text-align: left;                max-width: 740px;                margin: 0 auto;              }              .graf--hr hr {                height: 0;              }              .graf--blockquote {                padding: 10px 0px 10px 16px;                font-size: 16px;                color: #7A7574;                letter-spacing: 1px;                margin: 28px 0px;                border-left: 4px solid #DDD9D8;                width: 100%;                max-width: 740px;                text-align: left;              }              .graf--quotesSpecial {                display: table;                color: #7A7574;                position: relative;                padding: 31.5px 40px;                text-align: center;                letter-spacing: 0px;                position: relative;                margin: 29px auto;                font-family: "Microsoft JhengHei fixed", "Helvetica Neue", "Microsoft JhengHei", Helvetica, "Segoe UI", Tahoma, Arial, sans-serif;                font-size: 16px;                -webkit-box-ordinal-group: 1;                -webkit-box-flex: 0;              }              .embed-wrapper {                max-width: 740px;                border: 1px solid #DDD9D8;                display: block;                padding: 12px;                border-radius: 8px;                margin: 12px 0px;                text-decoration: none !important;              }              .embed-title {                font-size: 16px;                font-weight: 700;                color: #535150;                margin-bottom: 8px;                text-align: left;                line-height: 1.5;                text-decoration: none !important;              }              .embed-description {                width: 100%;                font-size: 14px;                color: #7A7574;                line-height: 1.5;                max-height: 150px;                text-align: left;                overflow: hidden;                padding: 12px 0px;              }              .embed-url > a {                width: 100%;                font-size: 14px;                color: #141413 !important;                text-decoration: none !important;                line-height: 1.5;                text-align: left;              }                            .embed-thumbnail-wrapper {                padding-left: 12px;              }              .embed-thumbnail {                width:100px;                border-radius: 8px;              }              pre {                background: #F6F6F6;                border-radius: 8px;                padding: 16px;                font-size: 16px;                color: #535150;                line-height: 180%;                text-align: left;              }              .lexical__textBold {                font-weight: bold;              }              .lexical__textItalic {                font-style: italic;              }              .lexical__textUnderline {                text-decoration: underline;              }              .lexical__textStrikethrough {                text-decoration: line-through;              }              .lexical__textUnderlineStrikethrough {                text-decoration: underline line-through;              }              .lexical__textSubscript {                font-size: 0.8em;                vertical-align: sub;              }              .lexical__textSuperscript {                font-size: 0.8em;                vertical-align: super;              }              .lexical__textCode {                background-color: rgb(240, 242, 245);                padding: 1px 0.25rem;                font-family: Menlo, Consolas, Monaco, monospace;                font-size: 94%;              }            </style></head><body><div class="article-container"><p class="graf--p" dir="ltr"><span style="white-space: pre-wrap;">我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。</span></p><p class="graf--p" dir="ltr"><br></p><p class="graf--p" dir="ltr"><span style="white-space: pre-wrap;">本章節的內容需要從 Hugging Face 中載入 T5 模型，有鑑於此，我們首先登入頁面： </span><a href="https://" rel="noreferrer"><span style="white-space: pre-wrap;">https://huggingface.co/models</span></a><span style="white-space: pre-wrap;">，如下所示：</span></p><div class="graf--img center"><div class="lexical__imageWrapper"><img src="https://images.vocus.cc/d99d0997-d402-41a0-a05d-eccad4a03130.png" data-src="https://resize-image.vocus.cc/resize?compression=6&norotation=true&url=https%3A%2F%2Fimages.vocus.cc%2Fd99d0997-d402-41a0-a05d-eccad4a03130.png&width=740&sign=-i5cCe_ePEzq8GaqB_uRme4AfrRCy9719UjnY_MLHrw" class="lazy" data-loaded="false" data-original-src="https://images.vocus.cc/d99d0997-d402-41a0-a05d-eccad4a03130.png" data-lowquality="false" data-width="1320" data-height="904" data-retry="0" onerror="Number(this.dataset.retry) > 4 ? this.src='/static/default-error-img.svg': (() => {this.src=this.dataset.originalSrc; this.dataset.retry = Number(this.dataset.retry)+1;})()" alt="raw-image"></div><div></div></div><p class="graf--p" dir="ltr"><span style="white-space: pre-wrap;">然後輸入 T5，會得到以下列表：</span></p><div class="graf--img center"><div class="lexical__imageWrapper"><img src="https://images.vocus.cc/809c421d-229d-4e8e-9345-3ffbd6d550bf.png" data-src="https://resize-image.vocus.cc/resize?compression=6&norotation=true&url=https%3A%2F%2Fimages.vocus.cc%2F809c421d-229d-4e8e-9345-3ffbd6d550bf.png&width=740&sign=K-pkSqobwoWZmxpEOxWgwi-ffvvaMs6GKVAl3ZnEdW8" class="lazy" data-loaded="false" data-original-src="https://images.vocus.cc/809c421d-229d-4e8e-9345-3ffbd6d550bf.png" data-lowquality="false" data-width="1212" data-height="1012" data-retry="0" onerror="Number(this.dataset.retry) > 4 ? this.src='/static/default-error-img.svg': (() => {this.src=this.dataset.originalSrc; this.dataset.retry = Number(this.dataset.retry)+1;})()" alt="raw-image"></div><div></div></div><p class="graf--p" dir="ltr"><br></p><p class="graf--p" dir="ltr"><br></p><p class="graf--p" dir="ltr"><br></p></div></body></html>

以行動支持創作者！付費即可解鎖

學習

AI說書 - 從0開始 - 381 | Hugging Face  T5 模型差異

AI說書 - 從0開始 - 379 | T5 模型的設計背景

提供一條簡單公式、一套盤點思路，幫助你快速算出去日本自助旅遊需要準備多少日幣現金！

逗點的沙龍

去日本自助旅行要帶多少日幣現金？最新經驗談

我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。



新模型和 Human Baselines 排名將不斷變化，Human Baselines 的位置自從基礎模型出現以來，它就不再具有多大意義了，這些排名只是表明經典 NL

Learn AI 不 BI

AI說書 - 從0開始 - 85

我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。



繼 AI說書 - 從0開始 - 82 與 xxx ，我們談論了衡量 AI 模型的方式，那當你訓練的模型比 State-of-the-Art 還要好並想要進行宣稱時，需要

AI說書 - 從0開始 - 84

我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。



Transformer 可以透過繼承預訓練模型 (Pretrained Model) 來微調 (Fine-Tune) 以執行下游任務。



Pretrained Mo

AI說書 - 從0開始 - 82

我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。



延續xxxx，ChatGPT 產生的程式，我們將它匯入 Colab 執行看看 ( Colab 使用教學見 使用Meta釋出的模型，實作Chat GPT - Part 0

AI說書 - 從0開始 - 81

我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。



先做個總回顧：

Transformer 架構總覽：AI說書 - 從0開始 - 39

Attention 意圖說明：AI說書 - 從0開始 - 40

Transfo

AI說書 - 從0開始 - 66

我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。



目前我們已經完成：

Single-Head Attention 數學說明：AI說書 - 從0開始 - 52

Multi-Head Attention 數學說明：AI

AI說書 - 從0開始 - 59

AI說書 - 從0開始 - 58

閱讀書評

職場

三分鐘學AI

這裡將提供： AI、Machine Learning、Deep Learning、Reinforcement Learning、Probabilistic Graphical Model的讀書筆記與演算法介紹，一起在未來AI的世界擁抱AI技術，不BI。

AI說書 - 從0開始 - 55

我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。



延續AI說書 - 從0開始 - 25示範了ChatGPT程式的能力，現在我們繼續做下去。

AI說書 - 從0開始 - 25在步驟7：Plot the confusio

AI說書 - 從0開始 - 26

我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。



延續AI說書 - 從0開始 - 22解釋Foundation Model與Engines意涵後，我們來試用看看ChatGPT。



嘗試問以下問題：Provide a

AI說書 - 從0開始 - 23

AI從0開始-十三章

三分鐘學AI (2)

AI從0開始-第一章

AI從0開始-第二章

AI馴獸師-第零章

AI馴獸師-第一章

AI從0開始-第三章

AI從0開始-第四章

AI馴獸師-第二章

AI從0開始-第五章

AI從0開始-第六章

AI從0開始-第七章

AI馴獸師-第三章

AI從0開始-第八章

AI從0開始-第九章

AI馴獸師-第四章

AI從0開始-第十章

AI從0開始-十一章

AI馴獸師-第五章

AI從0開始-十二章

AI馴獸師-第六章

證照相關

自然語言處理相關

機率圖模型

AI從0開始-十四章

AI馴獸師-第七章

AI從0開始-十五章

AI從0開始-十六章

AI馴獸師-第八章

AI從0開始-十七章

AI從0開始-十八章

AI從0開始-十九章

AI馴獸師-第九章

AI從0開始-二十章

三分鐘學AI (3)

AI馴獸師-第十章

AI馴獸師-第十一章

AI馴獸師-第十二章

AI馴獸師-第十三章

AI馴獸師-第十四章

AI馴獸師-第十五章

AI馴獸師-第十六章

AI馴獸師-第十七章

AI馴獸師-第十八章

AI馴獸師-第十九章

三分鐘學AI (4)

AI馴獸師-第二十章

AI馴獸師-二十一章

AI馴獸師-二十二章

AI馴獸師-二十三章

AI馴獸師-二十四章

AI馴獸師-二十五章

三分鐘學AI (5)

模型

AI說書 - 從0開始 - 380 | Hugging Face 模型組入

設計

<p class="lexical__paragraph" dir="ltr"><span style="white-space: pre-wrap;">我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。</span></p><p class="lexical__paragraph" dir="ltr"><br></p><p class="lexical__paragraph" dir="ltr"><div class="ad-placeholder" style="min-height: 124px;"></div><span style="white-space: pre-wrap;">本章節的內容需要從 Hugging Face 中載入 T5 模型，有鑑於此，我們首先登入頁面： </span><a href="https://" rel="noreferrer"><span style="white-space: pre-wrap;">https://huggingface.co/models</span></a><span style="white-space: pre-wrap;">，如下所示：</span></p><div class="lexical__image center"><div class="lexical__imageWrapper"><img src="https://resize-image.vocus.cc/resize?compression=6&amp;norotation=true&amp;url=https%3A%2F%2Fimages.vocus.cc%2Fd99d0997-d402-41a0-a05d-eccad4a03130.png&amp;width=740&amp;sign=-i5cCe_ePEzq8GaqB_uRme4AfrRCy9719UjnY_MLHrw" data-src="https://resize-image.vocus.cc/resize?compression=6&amp;norotation=true&amp;url=https%3A%2F%2Fimages.vocus.cc%2Fd99d0997-d402-41a0-a05d-eccad4a03130.png&amp;width=740&amp;sign=-i5cCe_ePEzq8GaqB_uRme4AfrRCy9719UjnY_MLHrw" data-loaded="true" data-original-src="https://images.vocus.cc/d99d0997-d402-41a0-a05d-eccad4a03130.png" data-lowquality="false" data-width="1320" data-height="904" data-retry="0" onerror="Number(this.dataset.retry) > 4 ? this.src='/static/default-error-img.svg': (() => {this.src=this.dataset.originalSrc; this.dataset.retry = Number(this.dataset.retry)+1;})()" alt="raw-image"></div><div></div></div><p class="lexical__paragraph" dir="ltr"><span style="white-space: pre-wrap;">然後輸入 T5，會得到以下列表：</span></p><div class="lexical__image center"><div class="lexical__imageWrapper"><img src="https://resize-image.vocus.cc/resize?compression=6&amp;norotation=true&amp;url=https%3A%2F%2Fimages.vocus.cc%2F809c421d-229d-4e8e-9345-3ffbd6d550bf.png&amp;width=740&amp;sign=K-pkSqobwoWZmxpEOxWgwi-ffvvaMs6GKVAl3ZnEdW8" data-src="https://resize-image.vocus.cc/resize?compression=6&amp;norotation=true&amp;url=https%3A%2F%2Fimages.vocus.cc%2F809c421d-229d-4e8e-9345-3ffbd6d550bf.png&amp;width=740&amp;sign=K-pkSqobwoWZmxpEOxWgwi-ffvvaMs6GKVAl3ZnEdW8" data-loaded="true" data-original-src="https://images.vocus.cc/809c421d-229d-4e8e-9345-3ffbd6d550bf.png" data-lowquality="false" data-width="1212" data-height="1012" data-retry="0" onerror="Number(this.dataset.retry) > 4 ? this.src='/static/default-error-img.svg': (() => {this.src=this.dataset.originalSrc; this.dataset.retry = Number(this.dataset.retry)+1;})()" alt="raw-image"></div><div></div></div><p class="lexical__paragraph" dir="ltr"><br></p><p class="lexical__paragraph" dir="ltr"><br></p><p class="lexical__paragraph" dir="ltr"><br></p>