「N-gram 模型」是一種在自然語言處理 (NLP) 中廣泛使用的簡單但功能強大的語言模型。它的核心思想是基於一個詞語序列中前 n-1 個詞語的出現來預測第 n 個詞語出現的概率。
簡單來說，N-gram 模型通過分析文本中連續出現的 n 個詞語的片段（即 n-grams），來學習語言的統計規律。
N-gram 的概念：- Unigram (1-gram): 單個詞語。例如，對於句子 "The cat sat on the mat"，unigrams 包括 "The", "cat", "sat", "on", "the", "mat"。
- Bigram (2-gram): 連續的兩個詞語。例如，對於句子 "The cat sat on the mat"，bigrams 包括 "The cat", "cat sat", "sat on", "on the", "the mat"。
- Trigram (3-gram): 連續的三個詞語。例如，對於句子 "The cat sat on the mat"，trigrams 包括 "The cat sat", "cat sat on", "sat on the", "on the mat"。
- N-gram: 一般來說，指的是連續的 n 個詞語。
N 的取值：
- n=1 (Unigram Model): 假設每個詞語的出現是獨立的，不依賴於前面的詞語。
- n=2 (Bigram Model): 假設一個詞語的出現只依賴於它前面的那一個詞語。
- n=3 (Trigram Model): 假設一個詞語的出現只依賴於它前面的那兩個詞語。
- n 的值越大，模型考慮的上下文信息就越多，但同時也可能導致數據稀疏性問題（即某些長的 n-grams 在訓練數據中出現的次數很少，導致概率估計不準確）。
N-gram 模型的應用：
N-gram 模型被廣泛應用於各種 NLP 任務中：
- 語言建模： 用於預測文本序列中下一個詞語的概率，是許多生成式 NLP 任務的基礎。
- 拼寫檢查： 可以檢測文本中不太可能出現的 n-grams，從而發現拼寫錯誤。
- 機器翻譯： 在早期的統計機器翻譯系統中被用來評估翻譯的流暢性。
- 文本分類： 可以將 n-grams 作為文本的特徵，用於訓練分類器。
- 信息檢索： 可以用於計算查詢詞語與文檔之間的相似度。
N-gram 模型的優點：
- 簡單易懂，容易實現。
- 計算效率相對較高。
- 能夠捕捉到詞語之間的一定的局部依賴關係。
N-gram 模型的缺點：
- 無法捕捉長距離的依賴關係： 模型的預測只依賴於最近的 n-1 個詞語，對於更遠的上下文信息無能為力。
- 可能存在數據稀疏性問題： 特別是當 n 較大時，許多可能的 n-grams 可能在訓練語料庫中沒有出現過，導致概率為零。通常需要使用平滑技術 (smoothing techniques) 來解決這個問題。
- 無法考慮詞語的語義相似性： 模型將每個詞語都視為獨立的符號，無法理解詞語之間的語義關係（例如，"dog" 和 "puppy" 在模型看來是不同的）。
總之，N-gram 模型是一種基本且實用的語言模型，它通過統計文本中連續詞語序列的頻率來預測下一個詞語的概率。儘管存在一些局限性，但它仍然是許多 NLP 任務的重要組成部分，並為更複雜的語言模型奠定了基礎。
