我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。



延續AI說書 - 從0開始 - 1，我們從Transformer開始談起：



ChatGPT的根基是一種名為Transformer的Foundation Model

<html lang="en"><head><style> .article-container { width: 100%; font-family: Microsoft JhengHei,Helvetica Neue,Helvetica,Arial,sans-serif; } ul, ol { margin: 12px auto; max-width: 740px; color: #535150; line-height: 1.8; padding-left: 0px; } .graf--img { display: table; justify-content: center; align-items: center; text-align: center; color: gray; font-size: 14px; letter-spacing: 0px; margin: 10px auto 50px; width: 100%; position: relative; clear: both; } .graf--img.center img { width: 100%; max-width: 740px; margin: 10px auto 0px; display: block; margin: 0 auto; } .graf--img.full img { width: 100%; } .captionTheme__wrapper { width: 100%; font-style: normal; line-height: 22px; font-size: 16px; max-width: 600px; margin-top: 8px; display: inline-block; } .graf--img.full { max-width: 100%; margin: 40px 0px; display: block; margin: 0 auto; align-items: center; } .graf--figure { text-align: center; color: gray; font-style: italic; font-size: 15px; margin: 28px auto; box-sizing: border-box; } .graf--figure iframe { width: 100%; max-width: 740px; margin: 0 auto; } .graf--p { font-size: 16px; line-height: 1.8; font-family: "Microsoft JhengHei fixed", "Helvetica Neue" ,"Microsoft JhengHei", Helvetica, "Segoe UI", Tahoma, Arial, sans-serif; letter-spacing: 1px; font-weight: 400; max-width: 740px; color: #535150; text-align: left; } .graf--p > a { color: #00B3C6 !important; text-decoration: none !important; } .graf--li > a { color: #00B3C6 !important; text-decoration: none !important; } .graf--quotesSpecial > a { color: #00B3C6 !important; text-decoration: none !important; } .graf--blockquote > a { color: #00B3C6 !important; text-decoration: none !important; } .graf--h1 > a { color: #00B3C6 !important; text-decoration: none !important; } .graf--h2 > a { color: #00B3C6 !important; text-decoration: none !important; } .graf--h3 > a { color: #00B3C6 !important; text-decoration: none !important; } a.graf--mention { color: #535150 !important; text-decoration: underline !important; font-weight: 700; } .graf--h2 { font-size: 24px; padding: 0; max-width: 740px; text-align: left; letter-spacing: 1px; font-weight: 700; margin-top: 34px; line-height: 1.5; } .graf--h3 { font-size: 18px; padding: 0; max-width: 740px; text-align: left; letter-spacing: 1px; font-weight: 700; margin-top: 28px; line-height: 1.5; } .graf--li { font-size: 16px; padding: 0px 0px 0px 4px; font-weight: 400; letter-spacing: 0px; list-style-position: outside; text-align:left; margin-left: 24px; } .graf--hr { width: 100%; margin: 0px auto; transform: translateY(-50%); position: relative; padding: 0px; text-align: left; max-width: 740px; margin: 0 auto; } .graf--hr hr { height: 0; } .graf--blockquote { padding: 10px 0px 10px 16px; font-size: 16px; color: #7A7574; letter-spacing: 1px; margin: 28px 0px; border-left: 4px solid #DDD9D8; width: 100%; max-width: 740px; text-align: left; } .graf--quotesSpecial { display: table; color: #7A7574; position: relative; padding: 31.5px 40px; text-align: center; letter-spacing: 0px; position: relative; margin: 29px auto; font-family: "Microsoft JhengHei fixed", "Helvetica Neue", "Microsoft JhengHei", Helvetica, "Segoe UI", Tahoma, Arial, sans-serif; font-size: 16px; -webkit-box-ordinal-group: 1; -webkit-box-flex: 0; } .embed-wrapper { max-width: 740px; border: 1px solid #DDD9D8; display: block; padding: 12px; border-radius: 8px; margin: 12px 0px; text-decoration: none !important; } .embed-title { font-size: 16px; font-weight: 700; color: #535150; margin-bottom: 8px; text-align: left; line-height: 1.5; text-decoration: none !important; } .embed-description { width: 100%; font-size: 14px; color: #7A7574; line-height: 1.5; max-height: 150px; text-align: left; overflow: hidden; padding: 12px 0px; } .embed-url > a { width: 100%; font-size: 14px; color: #141413 !important; text-decoration: none !important; line-height: 1.5; text-align: left; } .embed-thumbnail-wrapper { padding-left: 12px; } .embed-thumbnail { width:100px; border-radius: 8px; } pre { background: #F6F6F6; border-radius: 8px; padding: 16px; font-size: 16px; color: #535150; line-height: 180%; text-align: left; } .lexical__textBold { font-weight: bold; } .lexical__textItalic { font-style: italic; } .lexical__textUnderline { text-decoration: underline; } .lexical__textStrikethrough { text-decoration: line-through; } .lexical__textUnderlineStrikethrough { text-decoration: underline line-through; } .lexical__textSubscript { font-size: 0.8em; vertical-align: sub; } .lexical__textSuperscript { font-size: 0.8em; vertical-align: super; } .lexical__textCode { background-color: rgb(240, 242, 245); padding: 1px 0.25rem; font-family: Menlo, Consolas, Monaco, monospace; font-size: 94%; } </style></head><body><div class="article-container">我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。 延續<a href="https://vocus.cc/article/665ebfc3fd897800014bbb95" target="_blank">AI說書 - 從0開始 - 1</a>，我們從Transformer開始談起： ChatGPT的根基是一種名為Transformer的Foundation Model，其約莫始於2017年，那究竟它有什麼魔力，能成為改變AI歷史的推手呢？ 我們將從以下面向來探討：<ol class="lexical__ol"><li value="1" class="graf--li">Transformer的運算時間複雜度</li><li value="2" class="graf--li">Transformer能否用硬體加速器</li><li value="3" class="graf--li">Transformer的多樣性</li><li value="4" class="graf--li">生成式 (Generative) AI與辨別式 (Discriminative) AI</li><li value="5" class="graf--li">非監督式學習、半監督式學習與監督式學習</li><li value="6" class="graf--li">通用模型 (General-Purpose Model)與特定領域模型 (Task-Specific Model)</li><li value="7" class="graf--li">Transformer模型的挑選</li></ol></div></body></html>

以行動支持創作者！付費即可解鎖

學習

AI說書 - 從0開始 - 3

AI說書 - 從0開始 - 1

創作者營運專員/經理（Operations Specialist/Manager）將負責對平台成長及收入至關重要的 Partnership 夥伴創作者開發及營運。你將發揮對知識與內容變現、影響力變現的精準判斷力，找到你心中的潛力新星或有聲量的中大型創作者加入 vocus。

方格子 vocus 官方沙龍

徵才：創作者營運專員/經理（Operations Specialist）｜Creator Partnership 部門

我是一位提示工程師

生成式AI的課程，我大概已經上過1,000人次以上，最近更花費重金，在台大霖澤館舉辦一場百人AIBOT設計課程，並在將近10位的助教協助下，完成課程的設定目標。

在生成式AI的領域中，變化實在是非常地迅速，今天表現不佳的ChatGPT，明天可能問題就可以解決。

過去還有想辦

Jackie Chien的沙龍

原來，ChatGPT可以幫你寫公文！

筆記-曲博談AI模型.群聯-24.05.05

https://www.youtube.com/watch?v=JHE88hwx4b0&t=2034s

*大型語言模型 三個步驟:

1.預訓練，訓練一次要用幾萬顆處理器、訓練時間要1個月，ChatGPT訓練一次的成本為1000萬美金。

2.微調(

每日發車

筆記-曲博談AI模型.群聯-24.05.05

AI 相關的內容每天都非常多，有聽過很多人因此感覺到焦慮，怕錯過了最新資訊就會趕不上，這篇內容會跟大家詳細的分享我自己的學習方法和經驗，並且會在最後分享一些我的學習資訊來源。

創作邦｜設計X工具X品牌的沙龍

我如何從零開始接觸與學習 AI，超詳細學習方法與心得

音樂藝文

職場

理財幼幼班：慢賺就是穩賺

這個出版專題的內容能讓大家在實際操作的過程中，看看我是如何克服心魔，或者是無法克服心魔的窘態，正如同災難投資法那本書，並不是一本歌功頌德自己的投資法有多厲害，而是誠實地面對自己如何從不斷的犯錯中，找出問題的關鍵，並逐漸改善自己個性的缺失，也讓自己投資報酬率愈來愈好的過程。

https://www.youtube.com/watch?v=wjZofJX0v4M

這是我看過最好的AI科普影片了；現在流行的GPT使用的大語言模型 (large language model, LLM), 是把每一個單字都當作一個高維度向量 

影片中GPT3共儲存50257個英文單字, 每

電影戲劇

國際

科技

白話詹的沙龍

淺聊AI

AI與虛擬帳號的盛行，帶來了機會與風險，需要保持警覺與理性，避免被迷惑與控制，以及辨別訊息真假，是每個網路使用者該思考與學習的。

投資理財

雜想

將生活中的一瞬間，化為文字，保留下來。

凜 工程的沙龍

現代科技

創作

請支援收銀

親子與教育

創作邦訂閱精選文章

創作邦致力分享設計新知、創作工具、高效工作方法，我們的沙龍提供各種給設計師和創作者的實用知識與資源，如果你付費訂閱我們，還會提供你更深度的內容分享、專屬討論區、會員購買數位商品限定優惠等福利。

大語言模型能夠生成文本，因此被認為是生成式人工智慧的一種形式。



人工智慧的學科任務，是製作機器，使其能執行需要人類智慧才能執行的任務，例如理解語言，便是模式，做出決策。



除了大語言模型，人工智慧也包含了深度學習以及機器學習。



機器學習的學科任務，是透過演算法來實踐AI。



特別

<div class="draft-block draft--p left">有時候還很依賴ai（看見滿滿的公文）</div>

LLM 筆記

王啟樺的沙龍

LLM 003｜人工智慧如何從數據中學習？

在晶狀智慧的時代，人類與AI共舞，共同建構更先進、更智能的未來。這是一場革命，一場改變人類命運的奇蹟，讓我們共同見證這個智慧的新紀元。

<div class="draft-block draft--p left">Learning AI as a career skill</div>
<div class="draft-block draft--p left">https://www.taipeitimes.com/News/feat/archives/2024/03/06/2003814511</div>

文化生活

心情繪本

ChatGPT問世，使用DALL.E生成圖像，描述短篇趣味故事，當故事描述完，心情也愉快了。

D&Y熊繪生的沙龍

心情繪本｜ChatGPT ｜DALL.E ｜[晶智紀元：AI深度學習的奇蹟]

2023年被世人稱做生成式AI世代的元年，各式各樣的AI工具不斷湧現，改變了人們的生活。本文將詳細介紹人工智慧和機器學習的相關知識，以及各種人工智慧和機器學習的實現方法。

2024 讓你 8分鐘 懂機器學習

這裡是來自 高科大 資管系二年級的學生，希望能在學習的過程中，也分享這些知識給大家。

咖啡因學習教室

2024 讓你 8分鐘 懂機器學習： 01 機器學習 vs 人工智慧

近來AI繪圖以及如Chatgpt等可進行對話的AI進入到大眾視野，讓AI成為了熱門話題，網路媒體和論壇冒出許多相關的文章，足見AI之勢著實非同小可。

閱讀書評

書架

分享閱讀、遊戲影劇、桌遊心得和創作，希望勤有功，嬉有用

勤嬉軒

【閱讀】AI背後的暗知識：機器如何學習、認知與改造我們的未來世界

AI從0開始-第一章

三分鐘學AI

這裡將提供： AI、Machine Learning、Deep Learning、Reinforcement Learning、Probabilistic Graphical Model的讀書筆記與演算法介紹，一起在未來AI的世界擁抱AI技術，不BI。

Learn AI 不 BI

圓圓回憶錄

AI從0開始-第二章

AI馴獸師-第零章

AI馴獸師-第一章

AI從0開始-第三章

AI從0開始-第四章

AI馴獸師-第二章

AI從0開始-第五章

AI從0開始-第六章

AI從0開始-第七章

AI馴獸師-第三章

AI從0開始-第八章

AI從0開始-第九章

AI馴獸師-第四章

AI從0開始-第十章

AI從0開始-十一章

AI馴獸師-第五章

AI從0開始-十二章

AI從0開始-十三章

AI馴獸師-第六章

三分鐘學AI (2)

證照相關

自然語言處理相關

機率圖模型

AI從0開始-十四章

AI馴獸師-第七章

AI從0開始-十五章

AI從0開始-十六章

AI馴獸師-第八章

AI從0開始-十七章

AI從0開始-十八章

AI從0開始-十九章

AI馴獸師-第九章

AI從0開始-二十章

三分鐘學AI (3)

AI馴獸師-第十章

AI馴獸師-第十一章

AI馴獸師-第十二章

AI馴獸師-第十三章

AI馴獸師-第十四章

AI馴獸師-第十五章

AI馴獸師-第十六章

AI馴獸師-第十七章

AI馴獸師-第十八章

AI馴獸師-第十九章

三分鐘學AI (4)

AI馴獸師-第二十章

AI馴獸師-二十一章

AI馴獸師-二十二章

AI馴獸師-二十三章

AI馴獸師-二十四章

AI馴獸師-二十五章

三分鐘學AI (5)

AI說書 - 從0開始 - 2

我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。 <div class="ad-placeholder" style="min-height: 124px;"></div>延續<a href="https://vocus.cc/article/665ebfc3fd897800014bbb95" target="_blank">AI說書 - 從0開始 - 1</a>，我們從Transformer開始談起： ChatGPT的根基是一種名為Transformer的Foundation Model，其約莫始於2017年，那究竟它有什麼魔力，能成為改變AI歷史的推手呢？ 我們將從以下面向來探討：<ol class="lexical__ol"><li value="1" class="lexical__listItem">Transformer的運算時間複雜度</li><li value="2" class="lexical__listItem">Transformer能否用硬體加速器</li><li value="3" class="lexical__listItem">Transformer的多樣性</li><li value="4" class="lexical__listItem">生成式 (Generative) AI與辨別式 (Discriminative) AI</li><li value="5" class="lexical__listItem">非監督式學習、半監督式學習與監督式學習</li><li value="6" class="lexical__listItem">通用模型 (General-Purpose Model)與特定領域模型 (Task-Specific Model)</li><li value="7" class="lexical__listItem">Transformer模型的挑選</li></ol>

來IG找我玩

軟體開發