AI說書 - 從0開始 - 40
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
Transformer 中的 Attention 機制是 'Word-to-Word' 操作，或者是 'Token-to-Token' 操作，白話來講就是：「對於句子中的每個字，要去分析它和別的字之間的關係，這分析也包含自己這個字對自己本身的分析」
用圖示化來說明就是：
出自書籍：Transformers for Natural Language Processing and Computer Vision - Third Edition, Denis Rothman, 2024
Attention 機制會執行：「Dot products between word vectors and determine the strongest relationships between a given word and all the other words, including itself」
事實上 Transformer 模型不是一次執行一個 Attention 機制，而是一次八個，這有以下好處：
- 可以更深層的分析文字序列
- 施行平行計算
- 每一個 Attention 機制都能各自捕捉輸入序列的不同層面意涵
180會員
480內容數
這裡將提供： AI、Machine Learning、Deep Learning、Reinforcement Learning、Probabilistic Graphical Model的讀書筆記與演算法介紹，一起在未來AI的世界擁抱AI技術，不BI。
留言0
查看全部
你可能也想看
Google News 追蹤
大家好，我是woody，是一名料理創作者，非常努力地在嘗試將複雜的料理簡單化，讓大家也可以體驗到料理的樂趣而我也非常享受料理的過程，今天想跟大家聊聊，除了料理本身，料理創作背後的成本。
哈囉～很久沒跟各位自我介紹一下了～
大家好～我是爺恩
我是一名圖文插畫家，有追蹤我一段時間的應該有發現爺恩這個品牌經營了好像.....快五年了(汗)時間過得真快！隨著時間過去，創作這件事好像變得更忙碌了，也很開心跟很多厲害的創作者以及廠商互相合作幫忙，還有最重要的是大家的支持與陪伴🥹。
嘿，大家新年快樂~ 新年大家都在做什麼呢？
跨年夜的我趕工製作某個外包設計案，在工作告一段落時趕上倒數。
然後和兩個小孩過了一個忙亂的元旦。在深夜時刻，看到朋友傳來的解籤網站，興致勃勃熬夜體驗了一下，覺得非常好玩，或許有人玩過了，但還是想寫上來分享紀錄一下~
最新的AI趨勢讓人眼花撩亂，不知要如何開始學習？本文介紹了作者對AI的使用和體驗，以及各類AI工具以及推薦的選擇。最後強調了AI是一個很好用的工具，可以幫助人們節省時間並提高效率。鼓勵人們保持好奇心，不停止學習，並提出了對健康生活和開心生活的祝福。
今天接觸到兩個重點方向，我覺得每個人都可以去嘗試思考，也是我最近在試著去了解更深的主軸：
①提升思維、善用AI工具。
包括接觸商業和產品知識，再用工具加速、更有效達標。
②自媒體——讓人認識你。
如果要做自媒體，可以先思考目的，比如我的目標是寫作出書，就不需要花太多時間分享生活娛
上篇我們簡單的了解了 TTS 想要達到的目標，但是對於訓練資料的處理、網路架構、損失函數、輸出分析等考慮到篇幅尚未解釋清楚，這篇將針對訓練資料處理中的文字部分進行詳細說明，讓我們開始吧。
AI 相關的內容每天都非常多，有聽過很多人因此感覺到焦慮，怕錯過了最新資訊就會趕不上，這篇內容會跟大家詳細的分享我自己的學習方法和經驗，並且會在最後分享一些我的學習資訊來源。
現代大語言模型建構於Transformer結構。
Transformer結構是源自於2017年著名論文 Attention Is All You Need的深度神經網路結構。
原始的Trasformer是為了機器翻譯發展，當初的任務是將英文翻譯成德文與法文。
Transformer
這篇文章介紹瞭如何利用生成式AI（GenAI）來提高學習效率，包括文章重點整理、完善知識體系、客製化學習回饋、提供多元觀點等方法。同時提醒使用者應注意內容的信效度，保持學術誠信，適當運用GenAI能大幅提升工作效率。
http://tinyurl.com/12000ai888
http://tinyurl.com/12000ai888
http://tinyurl.com/12000ai888
ChatGPT最擅長的就是文本處理，用來翻譯字幕應該也是一片蛋糕吧！但實際操作測試，卻發現沒那麼容易，原因是影片翻譯要考量的因素太多包括：
▪️時間戳記對齊
▪️適合閱讀且中英文對照文句長度
▪️貼合講者原意語氣風格
▪️專業術語與專有名詞
還有GPT一次可以處理的資訊量有限，超過
大家好，我是woody，是一名料理創作者，非常努力地在嘗試將複雜的料理簡單化，讓大家也可以體驗到料理的樂趣而我也非常享受料理的過程，今天想跟大家聊聊，除了料理本身，料理創作背後的成本。
哈囉～很久沒跟各位自我介紹一下了～
大家好～我是爺恩
我是一名圖文插畫家，有追蹤我一段時間的應該有發現爺恩這個品牌經營了好像.....快五年了(汗)時間過得真快！隨著時間過去，創作這件事好像變得更忙碌了，也很開心跟很多厲害的創作者以及廠商互相合作幫忙，還有最重要的是大家的支持與陪伴🥹。
嘿，大家新年快樂~ 新年大家都在做什麼呢？
跨年夜的我趕工製作某個外包設計案，在工作告一段落時趕上倒數。
然後和兩個小孩過了一個忙亂的元旦。在深夜時刻，看到朋友傳來的解籤網站，興致勃勃熬夜體驗了一下，覺得非常好玩，或許有人玩過了，但還是想寫上來分享紀錄一下~
最新的AI趨勢讓人眼花撩亂，不知要如何開始學習？本文介紹了作者對AI的使用和體驗，以及各類AI工具以及推薦的選擇。最後強調了AI是一個很好用的工具，可以幫助人們節省時間並提高效率。鼓勵人們保持好奇心，不停止學習，並提出了對健康生活和開心生活的祝福。
今天接觸到兩個重點方向，我覺得每個人都可以去嘗試思考，也是我最近在試著去了解更深的主軸：
①提升思維、善用AI工具。
包括接觸商業和產品知識，再用工具加速、更有效達標。
②自媒體——讓人認識你。
如果要做自媒體，可以先思考目的，比如我的目標是寫作出書，就不需要花太多時間分享生活娛
上篇我們簡單的了解了 TTS 想要達到的目標，但是對於訓練資料的處理、網路架構、損失函數、輸出分析等考慮到篇幅尚未解釋清楚，這篇將針對訓練資料處理中的文字部分進行詳細說明，讓我們開始吧。
AI 相關的內容每天都非常多，有聽過很多人因此感覺到焦慮，怕錯過了最新資訊就會趕不上，這篇內容會跟大家詳細的分享我自己的學習方法和經驗，並且會在最後分享一些我的學習資訊來源。
現代大語言模型建構於Transformer結構。
Transformer結構是源自於2017年著名論文 Attention Is All You Need的深度神經網路結構。
原始的Trasformer是為了機器翻譯發展，當初的任務是將英文翻譯成德文與法文。
Transformer
這篇文章介紹瞭如何利用生成式AI（GenAI）來提高學習效率，包括文章重點整理、完善知識體系、客製化學習回饋、提供多元觀點等方法。同時提醒使用者應注意內容的信效度，保持學術誠信，適當運用GenAI能大幅提升工作效率。
http://tinyurl.com/12000ai888
http://tinyurl.com/12000ai888
http://tinyurl.com/12000ai888
ChatGPT最擅長的就是文本處理，用來翻譯字幕應該也是一片蛋糕吧！但實際操作測試，卻發現沒那麼容易，原因是影片翻譯要考量的因素太多包括：
▪️時間戳記對齊
▪️適合閱讀且中英文對照文句長度
▪️貼合講者原意語氣風格
▪️專業術語與專有名詞
還有GPT一次可以處理的資訊量有限，超過