AI說書 - 從0開始 - 138 | BERT 微調之資料前處理

我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。

回顧我們在 AI說書 - 從0開始 - 131 說要把句子前面加上 [CLS]，而句子和句子間要加上 [SEP] 區隔，於是程式為：

sentences = df.sentence.values
sentences = ["[CLS]" + sentence + "[SEP]" for sentence in sentences]
labels = df.label.values

接著執行 Tokenization 動作：

tokenizer = BertTokenizer.from_pretrained('bert-base-uncased', do_lower_case = True)
tokenized_texts = [tokenizer.tokenize(sent) for sent in sentences]

print("Tokenize the first sentence:")
print(tokenized_texts[0])

得到結果為：