我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。



既然要談論 Transformer 的 Attention 機制，我們必須要談論以下主題：

Transformer 架構

自注意力機制

編碼與解碼

Embedd

<html lang="en"><head><style> .article-container { width: 100%; font-family: Microsoft JhengHei,Helvetica Neue,Helvetica,Arial,sans-serif; } ul, ol { margin: 12px auto; max-width: 740px; color: #535150; line-height: 1.8; padding-left: 0px; } .graf--img { display: table; justify-content: center; align-items: center; text-align: center; color: gray; font-size: 14px; letter-spacing: 0px; margin: 10px auto 50px; width: 100%; position: relative; clear: both; } .graf--img.center img { width: 100%; max-width: 740px; margin: 10px auto 0px; display: block; margin: 0 auto; } .graf--img.full img { width: 100%; } .captionTheme__wrapper { width: 100%; font-style: normal; line-height: 22px; font-size: 16px; max-width: 600px; margin-top: 8px; display: inline-block; } .graf--img.full { max-width: 100%; margin: 40px 0px; display: block; margin: 0 auto; align-items: center; } .graf--figure { text-align: center; color: gray; font-style: italic; font-size: 15px; margin: 28px auto; box-sizing: border-box; } .graf--figure iframe { width: 100%; max-width: 740px; margin: 0 auto; } .graf--p { font-size: 16px; line-height: 1.8; font-family: "Microsoft JhengHei fixed", "Helvetica Neue" ,"Microsoft JhengHei", Helvetica, "Segoe UI", Tahoma, Arial, sans-serif; letter-spacing: 1px; font-weight: 400; max-width: 740px; color: #535150; text-align: left; } .graf--p > a { color: #00B3C6 !important; text-decoration: none !important; } .graf--li > a { color: #00B3C6 !important; text-decoration: none !important; } .graf--quotesSpecial > a { color: #00B3C6 !important; text-decoration: none !important; } .graf--blockquote > a { color: #00B3C6 !important; text-decoration: none !important; } .graf--h1 > a { color: #00B3C6 !important; text-decoration: none !important; } .graf--h2 > a { color: #00B3C6 !important; text-decoration: none !important; } .graf--h3 > a { color: #00B3C6 !important; text-decoration: none !important; } a.graf--mention { color: #535150 !important; text-decoration: underline !important; font-weight: 700; } .graf--h2 { font-size: 24px; padding: 0; max-width: 740px; text-align: left; letter-spacing: 1px; font-weight: 700; margin-top: 34px; line-height: 1.5; } .graf--h3 { font-size: 18px; padding: 0; max-width: 740px; text-align: left; letter-spacing: 1px; font-weight: 700; margin-top: 28px; line-height: 1.5; } .graf--li { font-size: 16px; padding: 0px 0px 0px 4px; font-weight: 400; letter-spacing: 0px; list-style-position: outside; text-align:left; margin-left: 24px; } .graf--hr { width: 100%; margin: 0px auto; transform: translateY(-50%); position: relative; padding: 0px; text-align: left; max-width: 740px; margin: 0 auto; } .graf--hr hr { height: 0; } .graf--blockquote { padding: 10px 0px 10px 16px; font-size: 16px; color: #7A7574; letter-spacing: 1px; margin: 28px 0px; border-left: 4px solid #DDD9D8; width: 100%; max-width: 740px; text-align: left; } .graf--quotesSpecial { display: table; color: #7A7574; position: relative; padding: 31.5px 40px; text-align: center; letter-spacing: 0px; position: relative; margin: 29px auto; font-family: "Microsoft JhengHei fixed", "Helvetica Neue", "Microsoft JhengHei", Helvetica, "Segoe UI", Tahoma, Arial, sans-serif; font-size: 16px; -webkit-box-ordinal-group: 1; -webkit-box-flex: 0; } .embed-wrapper { max-width: 740px; border: 1px solid #DDD9D8; display: block; padding: 12px; border-radius: 8px; margin: 12px 0px; text-decoration: none !important; } .embed-title { font-size: 16px; font-weight: 700; color: #535150; margin-bottom: 8px; text-align: left; line-height: 1.5; text-decoration: none !important; } .embed-description { width: 100%; font-size: 14px; color: #7A7574; line-height: 1.5; max-height: 150px; text-align: left; overflow: hidden; padding: 12px 0px; } .embed-url > a { width: 100%; font-size: 14px; color: #141413 !important; text-decoration: none !important; line-height: 1.5; text-align: left; } .embed-thumbnail-wrapper { padding-left: 12px; } .embed-thumbnail { width:100px; border-radius: 8px; } pre { background: #F6F6F6; border-radius: 8px; padding: 16px; font-size: 16px; color: #535150; line-height: 180%; text-align: left; } .lexical__textBold { font-weight: bold; } .lexical__textItalic { font-style: italic; } .lexical__textUnderline { text-decoration: underline; } .lexical__textStrikethrough { text-decoration: line-through; } .lexical__textUnderlineStrikethrough { text-decoration: underline line-through; } .lexical__textSubscript { font-size: 0.8em; vertical-align: sub; } .lexical__textSuperscript { font-size: 0.8em; vertical-align: super; } .lexical__textCode { background-color: rgb(240, 242, 245); padding: 1px 0.25rem; font-family: Menlo, Consolas, Monaco, monospace; font-size: 94%; } </style></head><body><div class="article-container">我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。 既然要談論 Transformer 的 Attention 機制，我們必須要談論以下主題：<ul class="lexical__ul"><li value="1" class="graf--li">Transformer 架構</li><li value="2" class="graf--li">自注意力機制</li><li value="3" class="graf--li">編碼與解碼</li><li value="4" class="graf--li">Embedding</li><li value="5" class="graf--li">Positional Embedding</li><li value="6" class="graf--li">多頭自注意力</li><li value="7" class="graf--li">Masked Multi-Head Attention</li><li value="8" class="graf--li">殘差連接</li><li value="9" class="graf--li">正規化</li><li value="10" class="graf--li">前向傳播神經網路</li><li value="11" class="graf--li">輸出機率轉換</li></ul></div></body></html>

以行動支持創作者！付費即可解鎖

學習

AI說書 - 從0開始 - 39

AI說書 - 從0開始 - 37

本系列將討論 LLM 時代中，分散 ML workload 的各種方法。作為系列的第一篇，我們將提及 High-level 的概論，譬如分散式訓練的各種切法、Model Parallelism 的相依問題，以及改善 Network Topology 等課題。

旅美工程師，閒談矽谷與北美的各種樣貌。
#矽谷 #工程師生涯 #旅行 #軟體工程 #個人成長

Medium: medium.com/mencher-publication

曼徹的矽谷旅記 Mencher’s Travelogue

ML Infra 一大戰場 - 分散式訓練

在網路世界初出茅廬時，不管你的文章內容多有價值，大多數時你只會遇到一片寂靜。這篇文章將分享如何利用 AI 指令並借用名人故事和框架，快速吸引你的觀眾，讓你的內容更具影響力。

【自由豐盛社群】採取會員制，如果你是第一次來，歡迎從免費內容開始。若你準備好更進一步，歡迎付費加入會員。

自由豐盛社群 Glowing Up

AI 指令教學：借用名人故事和框架，快速吸引你的觀眾



今天接觸到兩個重點方向，我覺得每個人都可以去嘗試思考，也是我最近在試著去了解更深的主軸：



①提升思維、善用AI工具。

包括接觸商業和產品知識，再用工具加速、更有效達標。



②自媒體——讓人認識你。

如果要做自媒體，可以先思考目的，比如我的目標是寫作出書，就不需要花太多時間分享生活娛

寫作、思考、生活，目前居住東京留學，跨領域學習建築空間專業，熱愛寫作、喜歡散步。

張詠芯 AbbyChang 的沙龍

ep.48 成長思維與面對焦慮｜成長筆記



✨閱讀後你將學會：

培養成長心態： 認識在AI時代如何透過「成長心態」面對新知識和技術。

策略化學習能力： 提供學習策略指南以評估自身學習目標與方法。

效率提升方法： 鼓勵透過學習AI工具與參與學習社群以提升學習成效。

重新定義高效學習

在人工智慧（AI）日益影響工作與學習方式的今天，

台灣高效能創新研究的沙龍

解鎖AI時代的3大成長祕籍：高效學習的心態、能力與效率

職場

軟體開發

前言

在閱讀《強化式學習：打造最強 AlphaZero 通用演算法》時，對一些看似基本，但是重要且會影響到之後實作的項目概念有點疑惑，覺得應該查清楚，所以搞懂後記錄下來，寫下這篇文章(應該說是筆記？)。



正文

下面這段程式碼：

model = Sequential()
model.add

親子與教育

柴郡貓姍蒂的沙龍

筆記-深度學習參數理解："input_shape"

投資理財

自由職業者週報

https://www.youtube.com/watch?v=wjZofJX0v4M

這是我看過最好的AI科普影片了；現在流行的GPT使用的大語言模型 (large language model, LLM), 是把每一個單字都當作一個高維度向量 

影片中GPT3共儲存50257個英文單字, 每

電影戲劇

國際

科技

白話詹的沙龍

淺聊AI

自我成長

思想實驗

閱讀書評

AI 相關的內容每天都非常多，有聽過很多人因此感覺到焦慮，怕錯過了最新資訊就會趕不上，這篇內容會跟大家詳細的分享我自己的學習方法和經驗，並且會在最後分享一些我的學習資訊來源。

創作邦訂閱精選文章

創作邦致力分享設計新知、創作工具、高效工作方法，我們的沙龍提供各種給設計師和創作者的實用知識與資源，如果你付費訂閱我們，還會提供你更深度的內容分享、專屬討論區、會員購買數位商品限定優惠等福利。

創作邦｜設計X工具X品牌的沙龍

我如何從零開始接觸與學習 AI，超詳細學習方法與心得

現代大語言模型建構於Transformer結構。



Transformer結構是源自於2017年著名論文 Attention Is All You Need的深度神經網路結構。



原始的Trasformer是為了機器翻譯發展，當初的任務是將英文翻譯成德文與法文。



Transformer

LLM 筆記

王啟樺的沙龍

LLM 005｜大語言模型是如何利用Transformer理解語言的？

這篇文章介紹瞭如何利用生成式AI（GenAI）來提高學習效率，包括文章重點整理、完善知識體系、客製化學習回饋、提供多元觀點等方法。同時提醒使用者應注意內容的信效度，保持學術誠信，適當運用GenAI能大幅提升工作效率。

簡單生活，快樂人生。

<<簡單生活，快樂人生。>> 夢中觀音叫我幫忙導化世人，所以即使我也在修行之中，亦盡力一試，只為積點功德。

易樂的沙龍

加油！以生成式AI 創建，各式各樣客製化精準學習AI BOT！

http://tinyurl.com/12000ai888

http://tinyurl.com/12000ai888

http://tinyurl.com/12000ai888







文化生活

創作

英語五十音 會唸就會拚!

恩典365

啟示之詩 Verse of Revelation

台灣是基督教國家 Taiwan is a Christian Nation

雙語聖經教育事工 Bilingual Bible Ministry (BBM)

福音101 拯救靈魂101!

多多益善-TOEIC多益5-7-9高分方程式

一起學雅思IELTS 雅思口說8.5教練 Mr. gary主持

英語說文解字 Etymology Online by Mr. gary

AI 好好玩

福音101文章拯救靈魂101，Mr. gary寫101篇福音的文章分享。

每一篇福音文章拯救101個靈魂。101篇文章就可以拯救10,201個靈魂，

而這10,201個靈魂，再把這101篇的福音文章分享出去，

那麼就可以再拯救1萬人。

結論:

1萬的1萬倍就是好幾億人，就可以因為這個福音文章都有機會得救。

私大王牌教授 (私人大學ACE) feat. mr gary

《Brief AI 電子報》每日 3 分鐘掌握 AI 趨勢

AI從0開始-第二章

三分鐘學AI

這裡將提供： AI、Machine Learning、Deep Learning、Reinforcement Learning、Probabilistic Graphical Model的讀書筆記與演算法介紹，一起在未來AI的世界擁抱AI技術，不BI。

Learn AI 不 BI

圓圓回憶錄

AI從0開始-第一章

AI馴獸師-第零章

AI馴獸師-第一章

AI從0開始-第三章

AI從0開始-第四章

AI馴獸師-第二章

AI從0開始-第五章

AI從0開始-第六章

AI從0開始-第七章

AI馴獸師-第三章

AI從0開始-第八章

AI從0開始-第九章

AI馴獸師-第四章

AI從0開始-第十章

AI從0開始-十一章

AI馴獸師-第五章

AI從0開始-十二章

AI從0開始-十三章

AI馴獸師-第六章

三分鐘學AI (2)

證照相關

自然語言處理相關

機率圖模型

AI從0開始-十四章

AI馴獸師-第七章

AI從0開始-十五章

AI從0開始-十六章

AI馴獸師-第八章

AI從0開始-十七章

AI從0開始-十八章

AI從0開始-十九章

AI馴獸師-第九章

AI從0開始-二十章

三分鐘學AI (3)

AI馴獸師-第十章

AI馴獸師-第十一章

AI馴獸師-第十二章

AI馴獸師-第十三章

AI馴獸師-第十四章

AI馴獸師-第十五章

AI馴獸師-第十六章

AI馴獸師-第十七章

AI馴獸師-第十八章

AI馴獸師-第十九章

三分鐘學AI (4)

AI馴獸師-第二十章

AI馴獸師-二十一章

AI馴獸師-二十二章

AI馴獸師-二十三章

AI馴獸師-二十四章

AI馴獸師-二十五章

三分鐘學AI (5)

AI說書 - 從0開始 - 38

我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。 <div class="ad-placeholder" style="min-height: 124px;"></div>既然要談論 Transformer 的 Attention 機制，我們必須要談論以下主題：<ul class="lexical__ul"><li value="1" class="lexical__listItem">Transformer 架構</li><li value="2" class="lexical__listItem">自注意力機制</li><li value="3" class="lexical__listItem">編碼與解碼</li><li value="4" class="lexical__listItem">Embedding</li><li value="5" class="lexical__listItem">Positional Embedding</li><li value="6" class="lexical__listItem">多頭自注意力</li><li value="7" class="lexical__listItem">Masked Multi-Head Attention</li><li value="8" class="lexical__listItem">殘差連接</li><li value="9" class="lexical__listItem">正規化</li><li value="10" class="lexical__listItem">前向傳播神經網路</li><li value="11" class="lexical__listItem">輸出機率轉換</li></ul>