C006｜如何編寫一個完整的Python符元化類 Tokenizer Class？

在Python中，

要寫一個完整的「符元化類 Tokenizer Class」，

這個Class需要的功能有：

1.「編碼 Encode」：將「文本 Text」分割成「符元 Token」。

2.「詞彙 Vocabulary」：將「符元 Token」映射到「符元ID TokenID」的「文本對整數映射 String-to-Integer Mapping」

3.「解碼 Decode」：將「符元ID TokenID」轉換為「文本 Text」的「整數對文本映射 Integer-to-String Mapping」

如此，

就完成了「文本 Text」--> 「符元 Token」--> 「符元ID TokenID」--> 「文本 Text」的循環，

這就是為什麼訓練資料中的文本，

可以透過GPT的結構，轉回AI生成的文本的整個循環。

具體的Python code如：

```python

class SimpleTokenizerV1:

def __init__(self, vocab):

self.str_to_int = vocab

self.int_to_str = {i:s for s,i in vocab.items()}

def encode(self, text):

preprocessed = re.split(r'([,.?_!"()\']|--|\s)', text)

preprocessed = [

item.strip() for item in preprocessed if item.strip()

]

ids = [self.str_to_int[s] for s in preprocessed]

return ids

def decode(self, ids):

text = " ".join([self.int_to_str[i] for i in ids])

# Replace spaces before the specified punctuations

text = re.sub(r'\s+([,.?!"()\'])', r'\1', text)

return text

```

可以看到，在`SimpleTokenizerV1`這個類的「構建子 Constructor」，

設置了「文本到整數」的映射，是輸入的「詞彙 Vocabulary」，

也設置了「整數到文本」的映射，是透過查詢「詞彙 Vocabulary」來轉回文本。

而「編碼函數 def encode」將輸入的文本先切成一個一個的「符元 Token」，

接著透過詞彙來查這些Token的ID。

而「解碼函數 def decode」將給定的一串「符元 ID Token ID」，

也是透過詞彙來轉回文本。

實際使用的例子，看起來會像是

```python

tokenizer = SimpleTokenizerV1(vocab)

text = """"It's the last he painted, you know,"

Mrs. Gisburn said with pardonable pride."""

ids = tokenizer.encode(text)

print(ids)

```

則會得到一串Token ID

```

[1, 56, 2, 850, 988, 602, 533, 746, 5, 1126, 596, 5, 1, 67, 7, 38, 851, 1108, 754, 793, 7]

```

而這串Token ID 可以透過Decoder再轉回文本

```

tokenizer.decode(ids)

```

得到結果

```

'" It\' s the last he painted, you know," Mrs. Gisburn said with pardonable pride.'

```

如此，有足夠豐富的Vocabulary，就能各種文本都能學習與產生。