淺聊AI
更新於 發佈於 閱讀時間約 1 分鐘
https://www.youtube.com/watch?v=wjZofJX0v4M
這是我看過最好的AI科普影片了；現在流行的GPT使用的大語言模型 (large language model, LLM), 是把每一個單字都當作一個高維度向量
- 影片中GPT3共儲存50257個英文單字, 每個單字是一個12288 x 1的向量
然後再藉由大量的模型訓練, 來決定每個英文單字的向量中的值。所謂的模型訓練, 就是餵進大量的已有文本, 藉由預定義的矩陣運算, 讓每個單字對應到的向量, 某種程度上能反應出語意;
- 例如影片中舉例, 訓練之後, 我們把”king”對應的向量減去”queen”的向量, 其結果會非常接近”man”的向量減去”woman”的向量, 類似於把”性別”這樣的語義, 嵌入了12288維向量的其中一維。
而GPT之所以能產生文本, 則是利用maximum likelihood (ML, 最大似然估計)的數學工具; 例如前文是”once upon a”, 那根據這樣的輸入當中每個字的向量, 去推測下一個最可能的字是”time”, 然後重覆這樣的動作。
把資訊數字化然後用數學方法處理的概念, 基本上就是現代訊號處理/通訊的核心, AI/LLM突破的地方在於, 找到一個有效率的訓練方式, 在運算能量夠強大的情況下, 在有限時間用超大型矩陣來訓練/學習海量的文本; 先把近乎無限的運算量, 變成很大但是有限的運算量, 再用高度平行化的矩陣運算, 把這個很大的運算量攤給非常多的運算處理器, 這其實跟AI最早一戰成名的應用: 下圍棋, 有異曲同工之妙。
留言0
查看全部
你可能也想看
Google News 追蹤
隨著理財資訊的普及，越來越多台灣人不再將資產侷限於台股，而是將視野拓展到國際市場。特別是美國市場，其豐富的理財選擇，讓不少人開始思考將資金配置於海外市場的可能性。
然而，要參與美國市場並不只是盲目跟隨標的這麼簡單，而是需要策略和方式，尤其對新手而言，除了選股以外還會遇到語言、開戶流程、Ap
嘿，大家新年快樂~ 新年大家都在做什麼呢？
跨年夜的我趕工製作某個外包設計案，在工作告一段落時趕上倒數。
然後和兩個小孩過了一個忙亂的元旦。在深夜時刻，看到朋友傳來的解籤網站，興致勃勃熬夜體驗了一下，覺得非常好玩，或許有人玩過了，但還是想寫上來分享紀錄一下~
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
回顧 AI說書 - 從0開始 - 129 中說，Bidirectional Encoder Representations from Transformers (BER
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
我們已經在 AI說書 - 從0開始 - 114 建立了 Transformer 模型，並在 AI說書 - 從0開始 - 115 載入權重並執行 Tokenizing，現
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
從 AI說書 - 從0開始 - 82 到 AI說書 - 從0開始 - 85 的說明，有一個很重要的結論：最適合您的模型不一定是排行榜上最好的模型，您需要學習 NLP 評
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
我們已經在AI說書 - 從0開始 - 20中，闡述GPT模型的Supervised and Unsupervised觀點，接著一樣引述書籍：Transformers f
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
我們已經在AI說書 - 從0開始 - 17中，介紹了大型語言模型 (LLM)世界裡面常用到的Token，現在我們來談談OpenAI的GPT模型如何利用Inference
筆記-曲博談AI模型.群聯-24.05.05
https://www.youtube.com/watch?v=JHE88hwx4b0&t=2034s
*大型語言模型 三個步驟:
1.預訓練，訓練一次要用幾萬顆處理器、訓練時間要1個月，ChatGPT訓練一次的成本為1000萬美金。
2.微調(
大語言模型能夠生成文本，因此被認為是生成式人工智慧的一種形式。
人工智慧的學科任務，是製作機器，使其能執行需要人類智慧才能執行的任務，例如理解語言，便是模式，做出決策。
除了大語言模型，人工智慧也包含了深度學習以及機器學習。
機器學習的學科任務，是透過演算法來實踐AI。
特別
這個頻道將提供以下服務：
深入介紹各種Machine Learning技術
深入介紹各種Deep Learning技術
深入介紹各種Reinforcement Learning技術
深入介紹Probabilistic Graphical Model技術
不定時提供讀書筆記
讓我們一起在未
ChatGPT最擅長的就是文本處理，用來翻譯字幕應該也是一片蛋糕吧！但實際操作測試，卻發現沒那麼容易，原因是影片翻譯要考量的因素太多包括：
▪️時間戳記對齊
▪️適合閱讀且中英文對照文句長度
▪️貼合講者原意語氣風格
▪️專業術語與專有名詞
還有GPT一次可以處理的資訊量有限，超過
隨著理財資訊的普及，越來越多台灣人不再將資產侷限於台股，而是將視野拓展到國際市場。特別是美國市場，其豐富的理財選擇，讓不少人開始思考將資金配置於海外市場的可能性。
然而，要參與美國市場並不只是盲目跟隨標的這麼簡單，而是需要策略和方式，尤其對新手而言，除了選股以外還會遇到語言、開戶流程、Ap
嘿，大家新年快樂~ 新年大家都在做什麼呢？
跨年夜的我趕工製作某個外包設計案，在工作告一段落時趕上倒數。
然後和兩個小孩過了一個忙亂的元旦。在深夜時刻，看到朋友傳來的解籤網站，興致勃勃熬夜體驗了一下，覺得非常好玩，或許有人玩過了，但還是想寫上來分享紀錄一下~
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
回顧 AI說書 - 從0開始 - 129 中說，Bidirectional Encoder Representations from Transformers (BER
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
我們已經在 AI說書 - 從0開始 - 114 建立了 Transformer 模型，並在 AI說書 - 從0開始 - 115 載入權重並執行 Tokenizing，現
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
從 AI說書 - 從0開始 - 82 到 AI說書 - 從0開始 - 85 的說明，有一個很重要的結論：最適合您的模型不一定是排行榜上最好的模型，您需要學習 NLP 評
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
我們已經在AI說書 - 從0開始 - 20中，闡述GPT模型的Supervised and Unsupervised觀點，接著一樣引述書籍：Transformers f
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
我們已經在AI說書 - 從0開始 - 17中，介紹了大型語言模型 (LLM)世界裡面常用到的Token，現在我們來談談OpenAI的GPT模型如何利用Inference
筆記-曲博談AI模型.群聯-24.05.05
https://www.youtube.com/watch?v=JHE88hwx4b0&t=2034s
*大型語言模型 三個步驟:
1.預訓練，訓練一次要用幾萬顆處理器、訓練時間要1個月，ChatGPT訓練一次的成本為1000萬美金。
2.微調(
大語言模型能夠生成文本，因此被認為是生成式人工智慧的一種形式。
人工智慧的學科任務，是製作機器，使其能執行需要人類智慧才能執行的任務，例如理解語言，便是模式，做出決策。
除了大語言模型，人工智慧也包含了深度學習以及機器學習。
機器學習的學科任務，是透過演算法來實踐AI。
特別
這個頻道將提供以下服務：
深入介紹各種Machine Learning技術
深入介紹各種Deep Learning技術
深入介紹各種Reinforcement Learning技術
深入介紹Probabilistic Graphical Model技術
不定時提供讀書筆記
讓我們一起在未
ChatGPT最擅長的就是文本處理，用來翻譯字幕應該也是一片蛋糕吧！但實際操作測試，卻發現沒那麼容易，原因是影片翻譯要考量的因素太多包括：
▪️時間戳記對齊
▪️適合閱讀且中英文對照文句長度
▪️貼合講者原意語氣風格
▪️專業術語與專有名詞
還有GPT一次可以處理的資訊量有限，超過