符元化文本
含有「符元化文本」共 1 篇內容
全部內容
發佈日期由新至舊
在學習大語言模型的技術細節時，
弄清楚「輸入文本 Input Text」與「符元化文本 Tokenized Text」之間的差異會很方便[1]。
舉個具體的例子：
輸入文本：Hello, 你好. Obsidian is great!
符元化文本：['Hello', ',',