AI說書 - 從0開始 - 317 | Embedding 模型描述

我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。

• 載入文本並執行 Tokenization：AI說書 - 從0開始 - 314 | 載入文本並執行 Tokenization
• 文本處理以降低 Tokenization 負擔：AI說書 - 從0開始 - 315 | 文本處理以降低 Tokenization 負擔
• Tokenization 後基本資訊窺探與 Embedding 訓練：AI說書 - 從0開始 - 316 | Tokenization 後基本資訊窺探與 Embedding 訓練

今天來窺探 Embedding 模型訓練後的參數內容：

from IPython.display import display 
import ipywidgets as widgets

model = Word2Vec.load("descartes_word2vec.model")
attr_widget = widgets.Dropdown(options = ['wv', 'vector_size', 'train_count', 'total_train_time', 'epochs', 'sg'],
                               value = 'wv',
                               description = 'Attribute:')
                               
display(attr_widget)

當中的關鍵參數為：

• wv：包含詞向量的物件
• vector_size：詞向量的維度
• train_count：train() 被呼叫的次數
• total_train_time：總累計訓練時間 (秒)
• epochs：訓練 Epoch 數目
• sg：訓練演算法，skip-gram 1； 0 代表 CBOW