「文本正規化 (Text Normalization)」是文本前處理 (Text Preprocessing) 中的一個重要步驟，旨在將文本轉換成一個標準的、統一的格式。這個過程的目的是減少文本的變異性，使得不同的表達方式能夠被視為相同的含義，從而提高後續 NLP 模型或分析的準確性和效率。
你可以將文本正規化想像成將同一件物品的不同樣式整理成一個統一的標準形式，例如將不同的日期格式統一為 "YYYY-MM-DD"。
文本正規化的主要目標：- 減少詞彙的變異性 (Reducing Vocabulary Variation): 例如，將相同詞根的不同詞形統一化，或者將大小寫不一致的詞語統一化。
- 去除不必要的變異 (Removing Irrelevant Variation): 例如，去除標點符號、特殊字符等對於某些任務來說不重要的信息。
- 將非標準形式轉換為標準形式 (Converting Non-standard Forms): 例如，將數字、日期、貨幣等轉換為統一的格式。
文本正規化的常見技術：
文本正規化涵蓋了多種技術，其中一些我們之前已經討論過，包括：
- 大小寫轉換 (Case Conversion): 將所有文本轉換為小寫（或大寫），以確保像 "The" 和 "the" 被視為相同的詞語。通常轉換為小寫更常見。
- 標點符號去除 (Punctuation Removal): 移除文本中的標點符號，因為它們在某些任務中可能不包含語義信息。
- 數字處理 (Number Handling):
- 移除數字： 如果數字對於分析任務不重要，可以將其移除。 數字替換： 將所有數字替換為一個特殊的標記（例如 <NUM>）。 數字轉換： 將數字轉換為文本形式（例如，將 "10" 轉換為 "ten"）。
- 特殊字符處理 (Special Character Handling): 移除或替換特殊字符（例如 *, #, @, $, % 等）。
- 縮略語和簡寫擴展 (Acronym and Abbreviation Expansion): 將縮略語（例如 "US"）和簡寫（例如 "etc."）擴展為它們的完整形式（例如 "United States", "et cetera"）。
- 詞幹提取 (Stemming) 和詞形還原 (Lemmatization): 將詞語還原為它們的基本形式，以減少詞語的詞形變化帶來的影響。
- 拼寫校正 (Spelling Correction): 校正文本中的拼寫錯誤，以減少由於拼寫錯誤導致的詞語變異性。
- 統一日期和時間格式 (Date and Time Format Unification): 將文本中不同的日期和時間表示方式轉換為一個統一的標準格式。
- 統一貨幣符號和單位 (Currency Symbol and Unit Unification): 將不同的貨幣符號和單位轉換為一個標準的形式。
重要性：
文本正規化是提高 NLP 模型性能的關鍵步驟，它可以：
- 提高模型準確性： 通過將不同的表達方式統一化，模型可以更好地學習詞語和概念之間的關係。
- 簡化模型： 減少詞彙表的大小，降低模型的複雜性。
- 提高模型泛化能力： 使模型對輸入文本的微小變化更加魯棒。
需要注意的是，具體需要進行哪些文本正規化步驟取決於具體的 NLP 任務和數據特性。例如，對於詞性標註任務，可能需要保留大小寫信息；而對於文本分類任務，統一為小寫可能更有益。因此，在進行文本正規化時，需要仔細考慮其對後續任務的影響。
