AI說書 - 從0開始 - 287 | Tokenizer 重要性範例之資料準備

我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。

我們先匯入必須要的程式庫：

!pip install gensim
import nltk
nltk.download('punkt')
import math 
import numpy as np
from nltk.tokenize import sent_tokenize, word_tokenize 
import gensim
from gensim.models import Word2Vec
import numpy as np
from sklearn.metrics.pairwise import cosine_similarity
import matplotlib.pyplot as plt
import warnings
warnings.filterwarnings(action = 'ignore')

再匯入資料集：

!curl -L https://raw.githubusercontent.com/Denis2054/Transformers-for-NLP-and-Computer-Vision-3rd-Edition/master/Chapter10/text.txt --output "text.txt"

我們的資料集 text.txt 包含美國獨立宣言、權利法案、大憲章、伊曼紐爾·康德的著作和其他文本。