AI說書 - 從0開始 - 317 | Embedding 模型描述
更新於 發佈於 閱讀時間約 3 分鐘
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
回顧目前手上有的素材：
- 載入文本並執行 Tokenization：AI說書 - 從0開始 - 314 | 載入文本並執行 Tokenization
- 文本處理以降低 Tokenization 負擔：AI說書 - 從0開始 - 315 | 文本處理以降低 Tokenization 負擔
- Tokenization 後基本資訊窺探與 Embedding 訓練：AI說書 - 從0開始 - 316 | Tokenization 後基本資訊窺探與 Embedding 訓練
今天來窺探 Embedding 模型訓練後的參數內容：
from IPython.display import display
import ipywidgets as widgets
model = Word2Vec.load("descartes_word2vec.model")
attr_widget = widgets.Dropdown(options = ['wv', 'vector_size', 'train_count', 'total_train_time', 'epochs', 'sg'],
value = 'wv',
description = 'Attribute:')
display(attr_widget)
當中的關鍵參數為：
- wv：包含詞向量的物件
- vector_size：詞向量的維度
- train_count：train() 被呼叫的次數
- total_train_time：總累計訓練時間 (秒)
- epochs：訓練 Epoch 數目
- sg：訓練演算法，skip-gram 1； 0 代表 CBOW
186會員
491內容數
這裡將提供： AI、Machine Learning、Deep Learning、Reinforcement Learning、Probabilistic Graphical Model的讀書筆記與演算法介紹，一起在未來AI的世界擁抱AI技術，不BI。
留言0
查看全部
你可能也想看
Google News 追蹤
身為一個小資女，一日之始在於起床。
每天早上起床，最先面對的就是被陽光曝曬的空間場景。
如何用既懶散又不失優雅的姿態完美的伸個懶腰後踮腳下床，著實是門學問。
重點不在於自己那一席披頭散髮，也不是因為打呵欠而扭曲的容顏。
而是在於陽光滲進空間的角度與濃度。
不能太多，直接曝曬像吸血鬼一樣花容
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
總結一下目前有的素材：
AI說書 - 從0開始 - 103：資料集載入
AI說書 - 從0開始 - 104：定義資料清洗的函數
AI說書 - 從0開始 - 105
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
總結一下目前有的素材：
AI說書 - 從0開始 - 103：資料集載入
AI說書 - 從0開始 - 104：定義資料清洗的函數
AI說書 - 從0開始 - 105
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
目前我們已經有資料集在 AI說書 - 從0開始 - 103 ，必要的清理函數在 AI說書 - 從0開始 - 104 ，現在把它們湊在一起，如下：
# load Eng
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
先做個總回顧：
Transformer 架構總覽：AI說書 - 從0開始 - 39
Attention 意圖說明：AI說書 - 從0開始 - 40
Transfo
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
這裡做 Embedding 與 Postional Encoding 的邏輯梳理與結論：
Embedding 訓練方式：AI說書 - 從0開始 - 43
Embed
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
再度回到 Transformer 架構中的 Encoder 部分，如下圖所示：
我現在手上有的素材如下：
Embedding 訓練方式：AI說書 - 從0開始
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
回顧我們在AI說書 - 從0開始 - 41中，提及 Transformer 的 Encoder 架構如下圖所示：
此外我已經在AI說書 - 從0開始 - 42中，
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
延續AI說書 - 從0開始 - 44說完 Embedding ，下一步就是闡述 Positional Embedding，其於原始 Transformer 架構中的角色
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
我們已經在AI說書 - 從0開始 - 43中，闡述了 Embedding 的訓練方式，現在我們來看是否 Embedding 如我們預期般運作：
假設我的目標句子是
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
延續AI說書 - 從0開始 - 22解釋Foundation Model與Engines意涵後，我們來試用看看ChatGPT。
嘗試問以下問題：Provide a
身為一個小資女，一日之始在於起床。
每天早上起床，最先面對的就是被陽光曝曬的空間場景。
如何用既懶散又不失優雅的姿態完美的伸個懶腰後踮腳下床，著實是門學問。
重點不在於自己那一席披頭散髮，也不是因為打呵欠而扭曲的容顏。
而是在於陽光滲進空間的角度與濃度。
不能太多，直接曝曬像吸血鬼一樣花容
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
總結一下目前有的素材：
AI說書 - 從0開始 - 103：資料集載入
AI說書 - 從0開始 - 104：定義資料清洗的函數
AI說書 - 從0開始 - 105
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
總結一下目前有的素材：
AI說書 - 從0開始 - 103：資料集載入
AI說書 - 從0開始 - 104：定義資料清洗的函數
AI說書 - 從0開始 - 105
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
目前我們已經有資料集在 AI說書 - 從0開始 - 103 ，必要的清理函數在 AI說書 - 從0開始 - 104 ，現在把它們湊在一起，如下：
# load Eng
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
先做個總回顧：
Transformer 架構總覽：AI說書 - 從0開始 - 39
Attention 意圖說明：AI說書 - 從0開始 - 40
Transfo
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
這裡做 Embedding 與 Postional Encoding 的邏輯梳理與結論：
Embedding 訓練方式：AI說書 - 從0開始 - 43
Embed
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
再度回到 Transformer 架構中的 Encoder 部分，如下圖所示：
我現在手上有的素材如下：
Embedding 訓練方式：AI說書 - 從0開始
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
回顧我們在AI說書 - 從0開始 - 41中，提及 Transformer 的 Encoder 架構如下圖所示：
此外我已經在AI說書 - 從0開始 - 42中，
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
延續AI說書 - 從0開始 - 44說完 Embedding ，下一步就是闡述 Positional Embedding，其於原始 Transformer 架構中的角色
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
我們已經在AI說書 - 從0開始 - 43中，闡述了 Embedding 的訓練方式，現在我們來看是否 Embedding 如我們預期般運作：
假設我的目標句子是
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
延續AI說書 - 從0開始 - 22解釋Foundation Model與Engines意涵後，我們來試用看看ChatGPT。
嘗試問以下問題：Provide a