AI說書 - 從0開始 - 75
閱讀時間約 1 分鐘
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
在 AI說書 - 從0開始 - 74 中提到，我們想要建立「Transformer 數學」與「ChatGPT 產生的文字」兩者間的關係。
有鑑於此，我們以句子「 Transformers possess surprising emerging features 」為說明例子。
稍後提到的分數 Score ，代表 Multi-Head Attention 執行正規化後的分數 (使用 Softmax)，此具機率意涵，而尚未執行此分數與向量 V 線性組合的階段，具體 Transformer 的運作細節見 AI說書 - 從0開始 - 52 。
我們來看看 Transformer 中的第一個 Layer 中的第一個 Head 的分數為何，其如：
圖片出自書籍：Transformers for Natural Language Processing and Computer Vision, Denis Rothman, 2024
169會員
450內容數
這裡將提供： AI、Machine Learning、Deep Learning、Reinforcement Learning、Probabilistic Graphical Model的讀書筆記與演算法介紹，一起在未來AI的世界擁抱AI技術，不BI。
留言0
查看全部
你可能也想看
Google News 追蹤
老實說，原本的我一直認為，AI是離我很遠的東西，即使是去年的 ChatGPT 熱潮，我也只是跟著偶爾在工作中跟AI聊天激發靈感而已。不過，就在前一陣子看了《AI 世界的底層邏輯與生存法則》這本書後，我才逐漸加深使用AI的頻率，並且把「讓AI成為工作中的標配」當作讓自己能習慣的方向。
https://www.youtube.com/watch?v=wjZofJX0v4M
這是我看過最好的AI科普影片了；現在流行的GPT使用的大語言模型 (large language model, LLM), 是把每一個單字都當作一個高維度向量
影片中GPT3共儲存50257個英文單字, 每
預計量子AI計算會在2032年左右來到，在這之前，我們還有充足的時間可以逐步去學習量子計算與演算法，讓我們按部就班，持續前進，做輕鬆無負擔的超前學習 !
AI 相關的內容每天都非常多，有聽過很多人因此感覺到焦慮，怕錯過了最新資訊就會趕不上，這篇內容會跟大家詳細的分享我自己的學習方法和經驗，並且會在最後分享一些我的學習資訊來源。
大語言模型能夠生成文本，因此被認為是生成式人工智慧的一種形式。
人工智慧的學科任務，是製作機器，使其能執行需要人類智慧才能執行的任務，例如理解語言，便是模式，做出決策。
除了大語言模型，人工智慧也包含了深度學習以及機器學習。
機器學習的學科任務，是透過演算法來實踐AI。
特別
這篇文章介紹瞭如何利用生成式AI（GenAI）來提高學習效率，包括文章重點整理、完善知識體系、客製化學習回饋、提供多元觀點等方法。同時提醒使用者應注意內容的信效度，保持學術誠信，適當運用GenAI能大幅提升工作效率。
前言
在AI經歷數個冰河期後，終於在後疫情時代來到了一個技術高峰，而這個破冰者就是OPen AI(ChatGPT)，對於這個話題不管你是是正在接觸AI，對AI技術有些了解的人，抑或是專業領域上對於AI介入感到焦慮的人都希望可以文中得到收穫。
本文想分享一些個人對於AI的理解及對於LLM模型的一些
老實說，原本的我一直認為，AI是離我很遠的東西，即使是去年的 ChatGPT 熱潮，我也只是跟著偶爾在工作中跟AI聊天激發靈感而已。不過，就在前一陣子看了《AI 世界的底層邏輯與生存法則》這本書後，我才逐漸加深使用AI的頻率，並且把「讓AI成為工作中的標配」當作讓自己能習慣的方向。
https://www.youtube.com/watch?v=wjZofJX0v4M
這是我看過最好的AI科普影片了；現在流行的GPT使用的大語言模型 (large language model, LLM), 是把每一個單字都當作一個高維度向量
影片中GPT3共儲存50257個英文單字, 每
預計量子AI計算會在2032年左右來到，在這之前，我們還有充足的時間可以逐步去學習量子計算與演算法，讓我們按部就班，持續前進，做輕鬆無負擔的超前學習 !
AI 相關的內容每天都非常多，有聽過很多人因此感覺到焦慮，怕錯過了最新資訊就會趕不上，這篇內容會跟大家詳細的分享我自己的學習方法和經驗，並且會在最後分享一些我的學習資訊來源。
大語言模型能夠生成文本，因此被認為是生成式人工智慧的一種形式。
人工智慧的學科任務，是製作機器，使其能執行需要人類智慧才能執行的任務，例如理解語言，便是模式，做出決策。
除了大語言模型，人工智慧也包含了深度學習以及機器學習。
機器學習的學科任務，是透過演算法來實踐AI。
特別
這篇文章介紹瞭如何利用生成式AI（GenAI）來提高學習效率，包括文章重點整理、完善知識體系、客製化學習回饋、提供多元觀點等方法。同時提醒使用者應注意內容的信效度，保持學術誠信，適當運用GenAI能大幅提升工作效率。
前言
在AI經歷數個冰河期後，終於在後疫情時代來到了一個技術高峰，而這個破冰者就是OPen AI(ChatGPT)，對於這個話題不管你是是正在接觸AI，對AI技術有些了解的人，抑或是專業領域上對於AI介入感到焦慮的人都希望可以文中得到收穫。
本文想分享一些個人對於AI的理解及對於LLM模型的一些