AI說書 - 從0開始 - 5
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
回顧我們在AI說書 - 從0開始 - 4中說Transformer的精髓就是考慮「字與字之間的配對關係」，我們稱其為Attention Layer，再搭配我們在機器學習領域中，常用數學向量來表達一個字 (AI只看得懂數學，看不懂文字)，因此如果我定義這個向量的維度是d，而整個Context的長度是n，則Attention Layer的複雜度就是O(n^2 * d)。
那我們來比較，Transformer與其競爭對手 - RNN，這家族裡面，有LSTM、GRU等兩大專門處理自然語言的AI模型，這個RNN家族學習方式是：
- Context裡面的第一個字維度是d
- Context裡面的第二個字維度也是d，再和第一個字的維度d，做複雜運算得出精華
- Context裡面的第三個字維度也是d，再和剛剛的精華，萃取出前三個字的精華
- Context裡面的第四個字維度也是d，再和剛剛的精華，萃取出前四個字的精華
- 以此類推
透過這樣的精神，可以看出它是一種Recurrent的機制，因此Recurrent Layer的複雜度就是O(d^2 * n)。
用一句話來說Attention Layer和Recurrent Layer的精神就是，Attention Layer learns the dimensions with pairwise relationships而Recurrent Layer learns in a sequence。
也因為這樣的差異，可以想像Recurrent Layer一次要學一個Sequence會比較容易忘記前面的字，而Attention Layer就不會有忘記前面的字的問題，因為它是學習字與字間的配對關係。
177會員
470內容數
這裡將提供： AI、Machine Learning、Deep Learning、Reinforcement Learning、Probabilistic Graphical Model的讀書筆記與演算法介紹，一起在未來AI的世界擁抱AI技術，不BI。
留言0
查看全部
你可能也想看
Google News 追蹤
嘿，大家新年快樂~ 新年大家都在做什麼呢？
跨年夜的我趕工製作某個外包設計案，在工作告一段落時趕上倒數。
然後和兩個小孩過了一個忙亂的元旦。在深夜時刻，看到朋友傳來的解籤網站，興致勃勃熬夜體驗了一下，覺得非常好玩，或許有人玩過了，但還是想寫上來分享紀錄一下~
最新的AI趨勢讓人眼花撩亂，不知要如何開始學習？本文介紹了作者對AI的使用和體驗，以及各類AI工具以及推薦的選擇。最後強調了AI是一個很好用的工具，可以幫助人們節省時間並提高效率。鼓勵人們保持好奇心，不停止學習，並提出了對健康生活和開心生活的祝福。
AI 科技的發展，有助於提高工作效率、節省時間和開發創意，從而提升你的經營自媒體的績效，使學習AI變得更加重要。這篇文章討論了學習AI技能的價值和重要性，並提供了一些具體的學習成果。
✨閱讀後你將學會：
培養成長心態： 認識在AI時代如何透過「成長心態」面對新知識和技術。
策略化學習能力： 提供學習策略指南以評估自身學習目標與方法。
效率提升方法： 鼓勵透過學習AI工具與參與學習社群以提升學習成效。
重新定義高效學習
在人工智慧（AI）日益影響工作與學習方式的今天，
AI 相關的內容每天都非常多，有聽過很多人因此感覺到焦慮，怕錯過了最新資訊就會趕不上，這篇內容會跟大家詳細的分享我自己的學習方法和經驗，並且會在最後分享一些我的學習資訊來源。
大語言模型能夠生成文本，因此被認為是生成式人工智慧的一種形式。
人工智慧的學科任務，是製作機器，使其能執行需要人類智慧才能執行的任務，例如理解語言，便是模式，做出決策。
除了大語言模型，人工智慧也包含了深度學習以及機器學習。
機器學習的學科任務，是透過演算法來實踐AI。
特別
這篇文章介紹瞭如何利用生成式AI（GenAI）來提高學習效率，包括文章重點整理、完善知識體系、客製化學習回饋、提供多元觀點等方法。同時提醒使用者應注意內容的信效度，保持學術誠信，適當運用GenAI能大幅提升工作效率。
2023年被世人稱做生成式AI世代的元年，各式各樣的AI工具不斷湧現，改變了人們的生活。本文將詳細介紹人工智慧和機器學習的相關知識，以及各種人工智慧和機器學習的實現方法。
近來AI繪圖以及如Chatgpt等可進行對話的AI進入到大眾視野，讓AI成為了熱門話題，網路媒體和論壇冒出許多相關的文章，足見AI之勢著實非同小可。
嘿，大家新年快樂~ 新年大家都在做什麼呢？
跨年夜的我趕工製作某個外包設計案，在工作告一段落時趕上倒數。
然後和兩個小孩過了一個忙亂的元旦。在深夜時刻，看到朋友傳來的解籤網站，興致勃勃熬夜體驗了一下，覺得非常好玩，或許有人玩過了，但還是想寫上來分享紀錄一下~
最新的AI趨勢讓人眼花撩亂，不知要如何開始學習？本文介紹了作者對AI的使用和體驗，以及各類AI工具以及推薦的選擇。最後強調了AI是一個很好用的工具，可以幫助人們節省時間並提高效率。鼓勵人們保持好奇心，不停止學習，並提出了對健康生活和開心生活的祝福。
AI 科技的發展，有助於提高工作效率、節省時間和開發創意，從而提升你的經營自媒體的績效，使學習AI變得更加重要。這篇文章討論了學習AI技能的價值和重要性，並提供了一些具體的學習成果。
✨閱讀後你將學會：
培養成長心態： 認識在AI時代如何透過「成長心態」面對新知識和技術。
策略化學習能力： 提供學習策略指南以評估自身學習目標與方法。
效率提升方法： 鼓勵透過學習AI工具與參與學習社群以提升學習成效。
重新定義高效學習
在人工智慧（AI）日益影響工作與學習方式的今天，
AI 相關的內容每天都非常多，有聽過很多人因此感覺到焦慮，怕錯過了最新資訊就會趕不上，這篇內容會跟大家詳細的分享我自己的學習方法和經驗，並且會在最後分享一些我的學習資訊來源。
大語言模型能夠生成文本，因此被認為是生成式人工智慧的一種形式。
人工智慧的學科任務，是製作機器，使其能執行需要人類智慧才能執行的任務，例如理解語言，便是模式，做出決策。
除了大語言模型，人工智慧也包含了深度學習以及機器學習。
機器學習的學科任務，是透過演算法來實踐AI。
特別
這篇文章介紹瞭如何利用生成式AI（GenAI）來提高學習效率，包括文章重點整理、完善知識體系、客製化學習回饋、提供多元觀點等方法。同時提醒使用者應注意內容的信效度，保持學術誠信，適當運用GenAI能大幅提升工作效率。
2023年被世人稱做生成式AI世代的元年，各式各樣的AI工具不斷湧現，改變了人們的生活。本文將詳細介紹人工智慧和機器學習的相關知識，以及各種人工智慧和機器學習的實現方法。
近來AI繪圖以及如Chatgpt等可進行對話的AI進入到大眾視野，讓AI成為了熱門話題，網路媒體和論壇冒出許多相關的文章，足見AI之勢著實非同小可。