AI說書 - 從0開始 - 107 | AI怎麼處理沒看過的字

我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。

• AI說書 - 從0開始 - 103：資料集載入
• AI說書 - 從0開始 - 104 | 資料清洗一次教：定義資料清洗的函數
• AI說書 - 從0開始 - 105 | AI 資料準備 : 資料集的資料進行資料清洗
• AI說書 - 從0開始 - 106 | 低頻率詞彙篩除方法：定義空白表單、詞彙計數器的函數 (排除頻率低的詞彙)

我們現在必須處理詞彙表外（Out-Of-Vocabulary, OOV）詞，OOV 詞可能是拼寫錯誤的詞、縮寫詞或任何不符合標準詞彙表示的詞，我們可以使用自動拼寫檢查，但這並不能解決所有問題，在這個例子中，我們將簡單地將 OOV 詞替換為 unk（未知）標記：

# Mark all OOV with 'unk' for all lines
def update_dataset(lines, vocab):
	new_lines = list()
	for line in lines:
		new_tokens = list()
		for token in line.split()
			if token in vocab:
				new_tokens.append(token)
			else:
				new_tokens.append('unk')
		new_line = ' '.join(new_tokens)
		new_lines.append(new_line)
	return new_lines