tokenization
#
tokenization
含有「tokenization」關鍵字的內容
全部共 1 篇文章
排序:發佈日期新到舊
[探索] 語言模型基礎:Subword algorithms
一個好的自然語言模型,若出現了語言模型的 vocabulary set 未曾收錄的單字,語言模型就會產生 Out-of-Vocabulary (OOV)。 本文介紹 subword algorithms 介於 word-level 和 character-level 解決 OOV 的方法。
Rene Wang
發佈於
翻滾吧!駭客女孩!
7
閱讀時間約
10
分鐘
#
語言模型
#
深度學習
#
#
#
#
#
#
#
#
#