AI說書 - 從0開始 - 78
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
回顧 AI說書 - 從0開始 - 77 ，我們在給定句子 「 Transformers possess surprising emerging features 」的情況下，分析了 Transformer 中的第六個 Layer 中的第一個 Head 的分數為何，可以得出幾個觀察點：
- Transformers 與 Transformers 兩字間的關聯分數為 0.03，明顯變低，它意識到自己與自己有高相關性是必然，但重點在於要學習與他人的相關性才有用
- Transformers 與 possess 兩字間的關聯分數為 0.188，變高了，它意識到自己必須學習與他人建立相關性才有用
現在我們來分析 Transformer 中的第六個 Layer 中的第六個 Head 的分數為何 (總共有 8 個 Head ，見 AI說書 - 從0開始 - 63 )：
圖片出自書籍：Transformers for Natural Language Processing and Computer Vision, Denis Rothman, 2024
對比 Transformer 中的第六個 Layer 中的第一個 Head 的分數，有以下觀察：
- Transformers 與 Transformers 兩字間的關聯分數為 0.0098，明顯更低，它意識到自己與自己有高相關性是必然，但重點在於要學習與他人的相關性才有用
- Transformers 與 possess 兩字間的關聯分數為 0.2，變更高了，它意識到自己必須學習與他人建立相關性才有用
- Transformers 與 possess 兩字間的關聯分數為 0.2，高於其他字，看來 Transformer 學到一個語法：名詞後面接動詞
經過 AI說書 - 從0開始 - 74 到目前為止的實驗，應可以漸漸感受到 Transformer 模型如何從數學層面漸漸往 Token 發展，再往句子生成發展。
177會員
469內容數
這裡將提供： AI、Machine Learning、Deep Learning、Reinforcement Learning、Probabilistic Graphical Model的讀書筆記與演算法介紹，一起在未來AI的世界擁抱AI技術，不BI。
留言0
查看全部
你可能也想看
Google News 追蹤
隨著理財資訊的普及，越來越多台灣人不再將資產侷限於台股，而是將視野拓展到國際市場。特別是美國市場，其豐富的理財選擇，讓不少人開始思考將資金配置於海外市場的可能性。
然而，要參與美國市場並不只是盲目跟隨標的這麼簡單，而是需要策略和方式，尤其對新手而言，除了選股以外還會遇到語言、開戶流程、Ap
嘿，大家新年快樂~ 新年大家都在做什麼呢？
跨年夜的我趕工製作某個外包設計案，在工作告一段落時趕上倒數。
然後和兩個小孩過了一個忙亂的元旦。在深夜時刻，看到朋友傳來的解籤網站，興致勃勃熬夜體驗了一下，覺得非常好玩，或許有人玩過了，但還是想寫上來分享紀錄一下~
最新的AI趨勢讓人眼花撩亂，不知要如何開始學習？本文介紹了作者對AI的使用和體驗，以及各類AI工具以及推薦的選擇。最後強調了AI是一個很好用的工具，可以幫助人們節省時間並提高效率。鼓勵人們保持好奇心，不停止學習，並提出了對健康生活和開心生活的祝福。
AI 相關的內容每天都非常多，有聽過很多人因此感覺到焦慮，怕錯過了最新資訊就會趕不上，這篇內容會跟大家詳細的分享我自己的學習方法和經驗，並且會在最後分享一些我的學習資訊來源。
大語言模型能夠生成文本，因此被認為是生成式人工智慧的一種形式。
人工智慧的學科任務，是製作機器，使其能執行需要人類智慧才能執行的任務，例如理解語言，便是模式，做出決策。
除了大語言模型，人工智慧也包含了深度學習以及機器學習。
機器學習的學科任務，是透過演算法來實踐AI。
特別
這篇文章介紹瞭如何利用生成式AI（GenAI）來提高學習效率，包括文章重點整理、完善知識體系、客製化學習回饋、提供多元觀點等方法。同時提醒使用者應注意內容的信效度，保持學術誠信，適當運用GenAI能大幅提升工作效率。
看了這個視頻，
更確定我們的投資展望！
這是一個很棒的視頻，
一起學習新知識。😀
他把AI說得讓我這種不明白的人也很容易懂，
還有人生不同層面，
都很棒🙏
https://youtu.be/qyOCtY1E4Qk?si=W5vXDjqsFzykvK3z
2023年被世人稱做生成式AI世代的元年，各式各樣的AI工具不斷湧現，改變了人們的生活。本文將詳細介紹人工智慧和機器學習的相關知識，以及各種人工智慧和機器學習的實現方法。
近來AI繪圖以及如Chatgpt等可進行對話的AI進入到大眾視野，讓AI成為了熱門話題，網路媒體和論壇冒出許多相關的文章，足見AI之勢著實非同小可。
隨著理財資訊的普及，越來越多台灣人不再將資產侷限於台股，而是將視野拓展到國際市場。特別是美國市場，其豐富的理財選擇，讓不少人開始思考將資金配置於海外市場的可能性。
然而，要參與美國市場並不只是盲目跟隨標的這麼簡單，而是需要策略和方式，尤其對新手而言，除了選股以外還會遇到語言、開戶流程、Ap
嘿，大家新年快樂~ 新年大家都在做什麼呢？
跨年夜的我趕工製作某個外包設計案，在工作告一段落時趕上倒數。
然後和兩個小孩過了一個忙亂的元旦。在深夜時刻，看到朋友傳來的解籤網站，興致勃勃熬夜體驗了一下，覺得非常好玩，或許有人玩過了，但還是想寫上來分享紀錄一下~
最新的AI趨勢讓人眼花撩亂，不知要如何開始學習？本文介紹了作者對AI的使用和體驗，以及各類AI工具以及推薦的選擇。最後強調了AI是一個很好用的工具，可以幫助人們節省時間並提高效率。鼓勵人們保持好奇心，不停止學習，並提出了對健康生活和開心生活的祝福。
AI 相關的內容每天都非常多，有聽過很多人因此感覺到焦慮，怕錯過了最新資訊就會趕不上，這篇內容會跟大家詳細的分享我自己的學習方法和經驗，並且會在最後分享一些我的學習資訊來源。
大語言模型能夠生成文本，因此被認為是生成式人工智慧的一種形式。
人工智慧的學科任務，是製作機器，使其能執行需要人類智慧才能執行的任務，例如理解語言，便是模式，做出決策。
除了大語言模型，人工智慧也包含了深度學習以及機器學習。
機器學習的學科任務，是透過演算法來實踐AI。
特別
這篇文章介紹瞭如何利用生成式AI（GenAI）來提高學習效率，包括文章重點整理、完善知識體系、客製化學習回饋、提供多元觀點等方法。同時提醒使用者應注意內容的信效度，保持學術誠信，適當運用GenAI能大幅提升工作效率。
看了這個視頻，
更確定我們的投資展望！
這是一個很棒的視頻，
一起學習新知識。😀
他把AI說得讓我這種不明白的人也很容易懂，
還有人生不同層面，
都很棒🙏
https://youtu.be/qyOCtY1E4Qk?si=W5vXDjqsFzykvK3z
2023年被世人稱做生成式AI世代的元年，各式各樣的AI工具不斷湧現，改變了人們的生活。本文將詳細介紹人工智慧和機器學習的相關知識，以及各種人工智慧和機器學習的實現方法。
近來AI繪圖以及如Chatgpt等可進行對話的AI進入到大眾視野，讓AI成為了熱門話題，網路媒體和論壇冒出許多相關的文章，足見AI之勢著實非同小可。