AI說書 - 從0開始 - 64
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
到 AI說書 - 從0開始 - 63 為止，我們已經介紹完 Multi-Head Attention ，接著我們來談 Add & Norm 兩元件的功能：
- Add 這個函數執行 Residual Connections
- 目的是希望輸入訊息不會遺失
- 這概念就是：隨著一個句子的輸入 AI，但是它可能會忘記前面的字，因此我乾脆把輸入訊息再灌進去一次，這樣就比較不會忘記
接著來看 Norm 這個函數要做什麼事，首先回想 AI說書 - 從0開始 - 63 說在原始 Google 釋出的 Transformer 論文，在 Multi-Head Attention 之後的輸出維度將是 3 x 512 ，這個 3 是我現在假設輸入句子有三個字。
現在針對每個字的 512 維度向量，我要經過 Norm 函數，更具體來說是 Layer Normalization 函數，其作法是，輸入一個向量，輸出一樣是一個向量，且維度相同，只是中間的元素經過一些數學調整，數學運作式為：
圖片取自：台大電機 李宏毅教授的課程
- 這是 Layer Normalization 的運作說明
- 計算向量 x 內元素的均值，記為 m
- 計算向量 x 內元素的標準差，記為 Sigma
- 針對向量 x 內每個元素，均執行：減去 m ，除上 Sigma 的動作
- 上述做完之後將得到一個向量 x'
- 這個 x' 可以乘上一個 Scaling 參數
- 乘上 Scaling 參數後的 x' 可以再加上一個 Bias 向量
178會員
473內容數
這裡將提供： AI、Machine Learning、Deep Learning、Reinforcement Learning、Probabilistic Graphical Model的讀書筆記與演算法介紹，一起在未來AI的世界擁抱AI技術，不BI。
留言0
查看全部
你可能也想看
Google News 追蹤
現代社會跟以前不同了，人人都有一支手機，只要打開就可以獲得各種資訊。過去想要辦卡或是開戶就要跑一趟銀行，然而如今科技快速發展之下，金融App無聲無息地進到你生活中。但同樣的，每一家銀行都有自己的App時，我們又該如何選擇呢？(本文係由國泰世華銀行邀約)
今天我會用不同角度帶大家看這款國泰世華CUB
嘿，大家新年快樂~ 新年大家都在做什麼呢？
跨年夜的我趕工製作某個外包設計案，在工作告一段落時趕上倒數。
然後和兩個小孩過了一個忙亂的元旦。在深夜時刻，看到朋友傳來的解籤網站，興致勃勃熬夜體驗了一下，覺得非常好玩，或許有人玩過了，但還是想寫上來分享紀錄一下~
本系列將討論 LLM 時代中，分散 ML workload 的各種方法。作為系列的第一篇，我們將提及 High-level 的概論，譬如分散式訓練的各種切法、Model Parallelism 的相依問題，以及改善 Network Topology 等課題。
前言
在閱讀《強化式學習：打造最強 AlphaZero 通用演算法》時，對一些看似基本，但是重要且會影響到之後實作的項目概念有點疑惑，覺得應該查清楚，所以搞懂後記錄下來，寫下這篇文章(應該說是筆記？)。
正文
下面這段程式碼：
model = Sequential()
model.add
在網路世界初出茅廬時，不管你的文章內容多有價值，大多數時你只會遇到一片寂靜。這篇文章將分享如何利用 AI 指令並借用名人故事和框架，快速吸引你的觀眾，讓你的內容更具影響力。
最新的AI趨勢讓人眼花撩亂，不知要如何開始學習？本文介紹了作者對AI的使用和體驗，以及各類AI工具以及推薦的選擇。最後強調了AI是一個很好用的工具，可以幫助人們節省時間並提高效率。鼓勵人們保持好奇心，不停止學習，並提出了對健康生活和開心生活的祝福。
今天接觸到兩個重點方向，我覺得每個人都可以去嘗試思考，也是我最近在試著去了解更深的主軸：
①提升思維、善用AI工具。
包括接觸商業和產品知識，再用工具加速、更有效達標。
②自媒體——讓人認識你。
如果要做自媒體，可以先思考目的，比如我的目標是寫作出書，就不需要花太多時間分享生活娛
AI 相關的內容每天都非常多，有聽過很多人因此感覺到焦慮，怕錯過了最新資訊就會趕不上，這篇內容會跟大家詳細的分享我自己的學習方法和經驗，並且會在最後分享一些我的學習資訊來源。
這篇文章介紹瞭如何利用生成式AI（GenAI）來提高學習效率，包括文章重點整理、完善知識體系、客製化學習回饋、提供多元觀點等方法。同時提醒使用者應注意內容的信效度，保持學術誠信，適當運用GenAI能大幅提升工作效率。
本書介紹一些觀念和心理學原理，幫助我們在工作中做出更好的決定、利用情緒激發創意和提升心智表現…
http://tinyurl.com/12000ai888
http://tinyurl.com/12000ai888
http://tinyurl.com/12000ai888
現代社會跟以前不同了，人人都有一支手機，只要打開就可以獲得各種資訊。過去想要辦卡或是開戶就要跑一趟銀行，然而如今科技快速發展之下，金融App無聲無息地進到你生活中。但同樣的，每一家銀行都有自己的App時，我們又該如何選擇呢？(本文係由國泰世華銀行邀約)
今天我會用不同角度帶大家看這款國泰世華CUB
嘿，大家新年快樂~ 新年大家都在做什麼呢？
跨年夜的我趕工製作某個外包設計案，在工作告一段落時趕上倒數。
然後和兩個小孩過了一個忙亂的元旦。在深夜時刻，看到朋友傳來的解籤網站，興致勃勃熬夜體驗了一下，覺得非常好玩，或許有人玩過了，但還是想寫上來分享紀錄一下~
本系列將討論 LLM 時代中，分散 ML workload 的各種方法。作為系列的第一篇，我們將提及 High-level 的概論，譬如分散式訓練的各種切法、Model Parallelism 的相依問題，以及改善 Network Topology 等課題。
前言
在閱讀《強化式學習：打造最強 AlphaZero 通用演算法》時，對一些看似基本，但是重要且會影響到之後實作的項目概念有點疑惑，覺得應該查清楚，所以搞懂後記錄下來，寫下這篇文章(應該說是筆記？)。
正文
下面這段程式碼：
model = Sequential()
model.add
在網路世界初出茅廬時，不管你的文章內容多有價值，大多數時你只會遇到一片寂靜。這篇文章將分享如何利用 AI 指令並借用名人故事和框架，快速吸引你的觀眾，讓你的內容更具影響力。
最新的AI趨勢讓人眼花撩亂，不知要如何開始學習？本文介紹了作者對AI的使用和體驗，以及各類AI工具以及推薦的選擇。最後強調了AI是一個很好用的工具，可以幫助人們節省時間並提高效率。鼓勵人們保持好奇心，不停止學習，並提出了對健康生活和開心生活的祝福。
今天接觸到兩個重點方向，我覺得每個人都可以去嘗試思考，也是我最近在試著去了解更深的主軸：
①提升思維、善用AI工具。
包括接觸商業和產品知識，再用工具加速、更有效達標。
②自媒體——讓人認識你。
如果要做自媒體，可以先思考目的，比如我的目標是寫作出書，就不需要花太多時間分享生活娛
AI 相關的內容每天都非常多，有聽過很多人因此感覺到焦慮，怕錯過了最新資訊就會趕不上，這篇內容會跟大家詳細的分享我自己的學習方法和經驗，並且會在最後分享一些我的學習資訊來源。
這篇文章介紹瞭如何利用生成式AI（GenAI）來提高學習效率，包括文章重點整理、完善知識體系、客製化學習回饋、提供多元觀點等方法。同時提醒使用者應注意內容的信效度，保持學術誠信，適當運用GenAI能大幅提升工作效率。
本書介紹一些觀念和心理學原理，幫助我們在工作中做出更好的決定、利用情緒激發創意和提升心智表現…
http://tinyurl.com/12000ai888
http://tinyurl.com/12000ai888
http://tinyurl.com/12000ai888