AI說書 - 從0開始 - 42
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
在AI說書 - 從0開始 - 41中，我們提及 Transformer 的 Encoder 架構如下圖所示，同時我們羅列幾個要點於圖示右邊：
- 原始 Transformer 架構中設定 N = 6
- 因應 N = 6，因此 Multi-Head Attention也重複執行六次，這概念就像我們看一段文章，我們會同時追蹤這文章中多個字之間的關聯，英文原意就是：Explores Different Ways of Associating the Tokens in the Sequence
- 每個 Encoder Layer 內包含兩個 Sublayer ：Multi-Headed Attention Mechanism 與 Fully Connected Position-Wise Feedforward Network
- 原始 Transformer 架構中設定， Embedding Layer 、 Residual Connection 等 Sublayer 輸出維度均為 dmodel = 512
- 維度設定一致可以避免運算設備還要做額外資源配置
接著我們來看看 Input Embedding Sublayer 做的是什麼事情，其架構如下：
- 其將 Input Tokens 轉換為維度為 512 的向量
- 而將 Input Sequence 轉換為 Input Tokens 的是 Tokenizer，它有很多種方法，如：Byte Pair Encoding 、 Word Piece 、 Sentence Piece 等等，原始 Transformer 使用的是 Byte Pair Encoding
- 舉一個例子來說明 Tokenizer 做的事情，假如我有一個句子為：「the Transformer is an innovative NLP model !」，那麼經過 Tokenizer 後將得到：'the' 、 'transform' 、 'er'、'is'、'an'、'innovative'、'n'、'l'、'p'、'model'、'!'
177會員
468內容數
這裡將提供： AI、Machine Learning、Deep Learning、Reinforcement Learning、Probabilistic Graphical Model的讀書筆記與演算法介紹，一起在未來AI的世界擁抱AI技術，不BI。
留言0
查看全部
你可能也想看
Google News 追蹤
隨著理財資訊的普及，越來越多台灣人不再將資產侷限於台股，而是將視野拓展到國際市場。特別是美國市場，其豐富的理財選擇，讓不少人開始思考將資金配置於海外市場的可能性。
然而，要參與美國市場並不只是盲目跟隨標的這麼簡單，而是需要策略和方式，尤其對新手而言，除了選股以外還會遇到語言、開戶流程、Ap
嘿，大家新年快樂~ 新年大家都在做什麼呢？
跨年夜的我趕工製作某個外包設計案，在工作告一段落時趕上倒數。
然後和兩個小孩過了一個忙亂的元旦。在深夜時刻，看到朋友傳來的解籤網站，興致勃勃熬夜體驗了一下，覺得非常好玩，或許有人玩過了，但還是想寫上來分享紀錄一下~
前言
在閱讀《強化式學習：打造最強 AlphaZero 通用演算法》時，對一些看似基本，但是重要且會影響到之後實作的項目概念有點疑惑，覺得應該查清楚，所以搞懂後記錄下來，寫下這篇文章(應該說是筆記？)。
正文
下面這段程式碼：
model = Sequential()
model.add
https://www.youtube.com/watch?v=wjZofJX0v4M
這是我看過最好的AI科普影片了；現在流行的GPT使用的大語言模型 (large language model, LLM), 是把每一個單字都當作一個高維度向量
影片中GPT3共儲存50257個英文單字, 每
預計量子AI計算會在2032年左右來到，在這之前，我們還有充足的時間可以逐步去學習量子計算與演算法，讓我們按部就班，持續前進，做輕鬆無負擔的超前學習 !
上篇我們簡單的了解了 TTS 想要達到的目標，但是對於訓練資料的處理、網路架構、損失函數、輸出分析等考慮到篇幅尚未解釋清楚，這篇將針對訓練資料處理中的文字部分進行詳細說明，讓我們開始吧。
AI 相關的內容每天都非常多，有聽過很多人因此感覺到焦慮，怕錯過了最新資訊就會趕不上，這篇內容會跟大家詳細的分享我自己的學習方法和經驗，並且會在最後分享一些我的學習資訊來源。
現代大語言模型建構於Transformer結構。
Transformer結構是源自於2017年著名論文 Attention Is All You Need的深度神經網路結構。
原始的Trasformer是為了機器翻譯發展，當初的任務是將英文翻譯成德文與法文。
Transformer
大語言模型能夠生成文本，因此被認為是生成式人工智慧的一種形式。
人工智慧的學科任務，是製作機器，使其能執行需要人類智慧才能執行的任務，例如理解語言，便是模式，做出決策。
除了大語言模型，人工智慧也包含了深度學習以及機器學習。
機器學習的學科任務，是透過演算法來實踐AI。
特別
這篇文章介紹瞭如何利用生成式AI（GenAI）來提高學習效率，包括文章重點整理、完善知識體系、客製化學習回饋、提供多元觀點等方法。同時提醒使用者應注意內容的信效度，保持學術誠信，適當運用GenAI能大幅提升工作效率。
數位化時代中，人工智能（AI）已成為推動創新和進步的關鍵力量。本文探討AI的現狀、挑戰以及未來可能性，並提出負責任地發展和使用AI的思考。
Transformer被廣泛運用在各種生成式AI，激起了本篇作者的好奇心，是否能用Transformer學到所有先驗知識，足以讓它由一張2D圖片還原3D物件。本篇也從Github上面找到由ZexinHe開源的LRM實作程式，讓有興趣的人可以深入研究。
隨著理財資訊的普及，越來越多台灣人不再將資產侷限於台股，而是將視野拓展到國際市場。特別是美國市場，其豐富的理財選擇，讓不少人開始思考將資金配置於海外市場的可能性。
然而，要參與美國市場並不只是盲目跟隨標的這麼簡單，而是需要策略和方式，尤其對新手而言，除了選股以外還會遇到語言、開戶流程、Ap
嘿，大家新年快樂~ 新年大家都在做什麼呢？
跨年夜的我趕工製作某個外包設計案，在工作告一段落時趕上倒數。
然後和兩個小孩過了一個忙亂的元旦。在深夜時刻，看到朋友傳來的解籤網站，興致勃勃熬夜體驗了一下，覺得非常好玩，或許有人玩過了，但還是想寫上來分享紀錄一下~
前言
在閱讀《強化式學習：打造最強 AlphaZero 通用演算法》時，對一些看似基本，但是重要且會影響到之後實作的項目概念有點疑惑，覺得應該查清楚，所以搞懂後記錄下來，寫下這篇文章(應該說是筆記？)。
正文
下面這段程式碼：
model = Sequential()
model.add
https://www.youtube.com/watch?v=wjZofJX0v4M
這是我看過最好的AI科普影片了；現在流行的GPT使用的大語言模型 (large language model, LLM), 是把每一個單字都當作一個高維度向量
影片中GPT3共儲存50257個英文單字, 每
預計量子AI計算會在2032年左右來到，在這之前，我們還有充足的時間可以逐步去學習量子計算與演算法，讓我們按部就班，持續前進，做輕鬆無負擔的超前學習 !
上篇我們簡單的了解了 TTS 想要達到的目標，但是對於訓練資料的處理、網路架構、損失函數、輸出分析等考慮到篇幅尚未解釋清楚，這篇將針對訓練資料處理中的文字部分進行詳細說明，讓我們開始吧。
AI 相關的內容每天都非常多，有聽過很多人因此感覺到焦慮，怕錯過了最新資訊就會趕不上，這篇內容會跟大家詳細的分享我自己的學習方法和經驗，並且會在最後分享一些我的學習資訊來源。
現代大語言模型建構於Transformer結構。
Transformer結構是源自於2017年著名論文 Attention Is All You Need的深度神經網路結構。
原始的Trasformer是為了機器翻譯發展，當初的任務是將英文翻譯成德文與法文。
Transformer
大語言模型能夠生成文本，因此被認為是生成式人工智慧的一種形式。
人工智慧的學科任務，是製作機器，使其能執行需要人類智慧才能執行的任務，例如理解語言，便是模式，做出決策。
除了大語言模型，人工智慧也包含了深度學習以及機器學習。
機器學習的學科任務，是透過演算法來實踐AI。
特別
這篇文章介紹瞭如何利用生成式AI（GenAI）來提高學習效率，包括文章重點整理、完善知識體系、客製化學習回饋、提供多元觀點等方法。同時提醒使用者應注意內容的信效度，保持學術誠信，適當運用GenAI能大幅提升工作效率。
數位化時代中，人工智能（AI）已成為推動創新和進步的關鍵力量。本文探討AI的現狀、挑戰以及未來可能性，並提出負責任地發展和使用AI的思考。
Transformer被廣泛運用在各種生成式AI，激起了本篇作者的好奇心，是否能用Transformer學到所有先驗知識，足以讓它由一張2D圖片還原3D物件。本篇也從Github上面找到由ZexinHe開源的LRM實作程式，讓有興趣的人可以深入研究。