AI說書 - 從0開始 - 318 | Embedding 模型描述

我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。

回顧目前手上有的素材：

• 載入文本並執行 Tokenization：AI說書 - 從0開始 - 314 | 載入文本並執行 Tokenization
• 文本處理以降低 Tokenization 負擔：AI說書 - 從0開始 - 315 | 文本處理以降低 Tokenization 負擔
• Tokenization 後基本資訊窺探與 Embedding 訓練：AI說書 - 從0開始 - 316 | Tokenization 後基本資訊窺探與 Embedding 訓練
• Embedding 模型描述：AI說書 - 從0開始 - 317 | Embedding 模型描述

接著想要做一個互動介面，來看 Embedding 模型的內容：

num_lines_widget = widgets.IntSlider(min = 0, max = 100, step = 1, value = 10, description = 'Lines:')
display(num_lines_widget)

display_button = widgets.Button(description = 'Display') 
display(display_button)

def display_data(button):
	attr = attr_widget.value
	num_lines = num_lines_widget.value
	if attr == 'wv':
		words = list(model.wv.index_to_key)
		for word in words[:num_lines]:
			print(word, model.wv[word])
	else:
		print(getattr(model, attr))
		
display_button.on_click(display_data) # Link the function to the button

可以看到當選擇 vector_size 時，顯示維度為 300：

而當選擇 wv 想顯示其向量時，可以選擇：

結果為：