AI說書 - 從0開始 - 43
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
我們在AI說書 - 從0開始 - 42中，見識了 Tokenizer 做的事情了，以下來羅列幾個要點：
- 它將原始文字轉成小寫
- 有可能將原始文字再進行切割
- 通常 Tokenizer 會提供「整數表達」，以供後續的 Embedding 流程使用，示意如下：
圖片出自：Transformers for Natural Language Processing and Computer Vision - Third Edition, Denis Rothman, 2024
至目前為止， Tokenizer 僅提供 Tokenized Text ，還無法提供太多有用資訊，因此還需要做 Embedding ，此方法有很多，以下舉例 Word2Vec 的 Skip-Gram 說明：
- 2013年由 Google 提出
- 假設我關注 2-Step Window 方式，則當我在 word(i) 時， Skip-Gram 模型會分析 word(i-2) 、 word(i-1) 、 word(i+1) 、 word(i+2)，因此假設我的句子是：「The quick brown fox jumps over the lazy dog」，那麼我可以產生的 Training Samples 就是：(the, quick)、(the, brown)、(quick, the)、(quick, brown)、(quick, fox)等等
- 有了 Training Samples 之後，當使用類神經網路來訓練時，輸入層是一個 One-Hot 編碼表示的 1 x 10000 的向量，輸出層也會是相同維度，當中的 10000 僅是舉例，再引入例如維度為 300 的隱藏層，那麼圖示結果就是：
圖片出自：https://arxiv.org/pdf/1301.3781
- 因為 One-Hot 編碼只有一個維度會是 1，其他皆為 0，所以輸出層基本上就是去查是 1 的那個維度，相對應於隱藏層中那個 Row，這就是 Word Vector 的由來
177會員
470內容數
這裡將提供： AI、Machine Learning、Deep Learning、Reinforcement Learning、Probabilistic Graphical Model的讀書筆記與演算法介紹，一起在未來AI的世界擁抱AI技術，不BI。
留言0
查看全部
你可能也想看
Google News 追蹤
嘿，大家新年快樂~ 新年大家都在做什麼呢？
跨年夜的我趕工製作某個外包設計案，在工作告一段落時趕上倒數。
然後和兩個小孩過了一個忙亂的元旦。在深夜時刻，看到朋友傳來的解籤網站，興致勃勃熬夜體驗了一下，覺得非常好玩，或許有人玩過了，但還是想寫上來分享紀錄一下~
前言
在閱讀《強化式學習：打造最強 AlphaZero 通用演算法》時，對一些看似基本，但是重要且會影響到之後實作的項目概念有點疑惑，覺得應該查清楚，所以搞懂後記錄下來，寫下這篇文章(應該說是筆記？)。
正文
下面這段程式碼：
model = Sequential()
model.add
最新的AI趨勢讓人眼花撩亂，不知要如何開始學習？本文介紹了作者對AI的使用和體驗，以及各類AI工具以及推薦的選擇。最後強調了AI是一個很好用的工具，可以幫助人們節省時間並提高效率。鼓勵人們保持好奇心，不停止學習，並提出了對健康生活和開心生活的祝福。
預計量子AI計算會在2032年左右來到，在這之前，我們還有充足的時間可以逐步去學習量子計算與演算法，讓我們按部就班，持續前進，做輕鬆無負擔的超前學習 !
上篇我們簡單的了解了 TTS 想要達到的目標，但是對於訓練資料的處理、網路架構、損失函數、輸出分析等考慮到篇幅尚未解釋清楚，這篇將針對訓練資料處理中的文字部分進行詳細說明，讓我們開始吧。
AI 相關的內容每天都非常多，有聽過很多人因此感覺到焦慮，怕錯過了最新資訊就會趕不上，這篇內容會跟大家詳細的分享我自己的學習方法和經驗，並且會在最後分享一些我的學習資訊來源。
大語言模型能夠生成文本，因此被認為是生成式人工智慧的一種形式。
人工智慧的學科任務，是製作機器，使其能執行需要人類智慧才能執行的任務，例如理解語言，便是模式，做出決策。
除了大語言模型，人工智慧也包含了深度學習以及機器學習。
機器學習的學科任務，是透過演算法來實踐AI。
特別
這篇文章介紹瞭如何利用生成式AI（GenAI）來提高學習效率，包括文章重點整理、完善知識體系、客製化學習回饋、提供多元觀點等方法。同時提醒使用者應注意內容的信效度，保持學術誠信，適當運用GenAI能大幅提升工作效率。
寫作其實不是一件容易的事情，除了要有靈感外，長時間撰寫其實對於手部也是很大的負擔，如果你平日工作又是高強度使用鍵盤更是如此。
這邊我會分享我自己如何使用 AI 來幫助我更輕鬆跟高效的產出，除了輕鬆外，也讓效率大幅的提升。
ChatGPT最擅長的就是文本處理，用來翻譯字幕應該也是一片蛋糕吧！但實際操作測試，卻發現沒那麼容易，原因是影片翻譯要考量的因素太多包括：
▪️時間戳記對齊
▪️適合閱讀且中英文對照文句長度
▪️貼合講者原意語氣風格
▪️專業術語與專有名詞
還有GPT一次可以處理的資訊量有限，超過
嘿，大家新年快樂~ 新年大家都在做什麼呢？
跨年夜的我趕工製作某個外包設計案，在工作告一段落時趕上倒數。
然後和兩個小孩過了一個忙亂的元旦。在深夜時刻，看到朋友傳來的解籤網站，興致勃勃熬夜體驗了一下，覺得非常好玩，或許有人玩過了，但還是想寫上來分享紀錄一下~
前言
在閱讀《強化式學習：打造最強 AlphaZero 通用演算法》時，對一些看似基本，但是重要且會影響到之後實作的項目概念有點疑惑，覺得應該查清楚，所以搞懂後記錄下來，寫下這篇文章(應該說是筆記？)。
正文
下面這段程式碼：
model = Sequential()
model.add
最新的AI趨勢讓人眼花撩亂，不知要如何開始學習？本文介紹了作者對AI的使用和體驗，以及各類AI工具以及推薦的選擇。最後強調了AI是一個很好用的工具，可以幫助人們節省時間並提高效率。鼓勵人們保持好奇心，不停止學習，並提出了對健康生活和開心生活的祝福。
預計量子AI計算會在2032年左右來到，在這之前，我們還有充足的時間可以逐步去學習量子計算與演算法，讓我們按部就班，持續前進，做輕鬆無負擔的超前學習 !
上篇我們簡單的了解了 TTS 想要達到的目標，但是對於訓練資料的處理、網路架構、損失函數、輸出分析等考慮到篇幅尚未解釋清楚，這篇將針對訓練資料處理中的文字部分進行詳細說明，讓我們開始吧。
AI 相關的內容每天都非常多，有聽過很多人因此感覺到焦慮，怕錯過了最新資訊就會趕不上，這篇內容會跟大家詳細的分享我自己的學習方法和經驗，並且會在最後分享一些我的學習資訊來源。
大語言模型能夠生成文本，因此被認為是生成式人工智慧的一種形式。
人工智慧的學科任務，是製作機器，使其能執行需要人類智慧才能執行的任務，例如理解語言，便是模式，做出決策。
除了大語言模型，人工智慧也包含了深度學習以及機器學習。
機器學習的學科任務，是透過演算法來實踐AI。
特別
這篇文章介紹瞭如何利用生成式AI（GenAI）來提高學習效率，包括文章重點整理、完善知識體系、客製化學習回饋、提供多元觀點等方法。同時提醒使用者應注意內容的信效度，保持學術誠信，適當運用GenAI能大幅提升工作效率。
寫作其實不是一件容易的事情，除了要有靈感外，長時間撰寫其實對於手部也是很大的負擔，如果你平日工作又是高強度使用鍵盤更是如此。
這邊我會分享我自己如何使用 AI 來幫助我更輕鬆跟高效的產出，除了輕鬆外，也讓效率大幅的提升。
ChatGPT最擅長的就是文本處理，用來翻譯字幕應該也是一片蛋糕吧！但實際操作測試，卻發現沒那麼容易，原因是影片翻譯要考量的因素太多包括：
▪️時間戳記對齊
▪️適合閱讀且中英文對照文句長度
▪️貼合講者原意語氣風格
▪️專業術語與專有名詞
還有GPT一次可以處理的資訊量有限，超過