AI說書 - 從0開始 - 320 | Embedding 後詞彙相似度計算

我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。

回顧目前手上有的素材：

• 載入文本並執行 Tokenization：AI說書 - 從0開始 - 314 | 載入文本並執行 Tokenization
• 文本處理以降低 Tokenization 負擔：AI說書 - 從0開始 - 315 | 文本處理以降低 Tokenization 負擔
• Tokenization 後基本資訊窺探與 Embedding 訓練：AI說書 - 從0開始 - 316 | Tokenization 後基本資訊窺探與 Embedding 訓練
• Embedding 模型描述：AI說書 - 從0開始 - 317 | Embedding 模型描述
• Embedding 模型描述：AI說書 - 從0開始 - 318 | Embedding 模型描述
• 檢視 Embedding 是否包含某詞彙：AI說書 - 從0開始 - 319 | 檢視 Embedding 是否包含某詞彙

今天來探討執行完 Embedding 後，給定一個字，想找出跟它相近意思的字：

try:
	similar_words = model.wv.most_similar('conscious')
	print('Most similar words to "conscious":', similar_words)
except KeyError:
	print('"concious" is not in the dictionary')

結果為：

輸出包含與「conscious」類似的單字及其介於 0 和 1 之間的相似度得分，每次運行的輸出可能會有所不同，並且由於 NLP 演算法的隨機性，相似性可能會有所不同。