AI說書 - 從0開始 - 319 | 檢視 Embedding 是否包含某詞彙

我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。

回顧目前手上有的素材：

• 載入文本並執行 Tokenization：AI說書 - 從0開始 - 314 | 載入文本並執行 Tokenization
• 文本處理以降低 Tokenization 負擔：AI說書 - 從0開始 - 315 | 文本處理以降低 Tokenization 負擔
• Tokenization 後基本資訊窺探與 Embedding 訓練：AI說書 - 從0開始 - 316 | Tokenization 後基本資訊窺探與 Embedding 訓練
• Embedding 模型描述：AI說書 - 從0開始 - 317 | Embedding 模型描述
• Embedding 模型描述：AI說書 - 從0開始 - 318 | Embedding 模型描述

當我們想要檢視 「consciousness」 這個字是否在 Embedding 中時，可以執行程式：

try:
	vector = model.wv['consciousness']
	print('Vector for "consciousness":', vector)
except KeyError:
	print('"consciousness" is not in the dictionary')

結果為：

那如果嘗試原型字 「conscious」 這個字是否在 Embedding 中時，可以執行程式：

try:
	vector = model.wv['conscious']
	print('Vector for "conscious":', vector)
except KeyError:
	print('"conscious" is not in the dictionary')

結果為：