「詞形還原 (Lemmatization)」是文本前處理 (Text Preprocessing) 的另一個重要步驟，它與詞幹提取 (Stemming) 的目標相似，都是將詞語還原為其基本形式。然而，詞形還原更加精確，它會考慮詞語的詞性 (Part of Speech, POS) 和語境，將詞語轉換為其詞根形式，也稱為詞元 (lemma) 或字典形式。詞形還原的結果總是一個語法上正確的詞語。
你可以將詞形還原想像成一個更智能、更精確的歸類方法。它不僅僅是簡單地移除詞綴，而是理解詞語在句子中的作用，並將其映射回其原來的形式。詞形還原的工作方式：
詞形還原通常依賴於詞彙知識庫，例如 WordNet、詞形詞典等，這些知識庫包含了詞語的不同形式及其對應的詞根。詞形還原算法會查找詞語的詞性，然後根據詞性和詞形規則，將其還原為詞元。
例如，對於英文，詞形還原會考慮詞語是名詞、動詞、形容詞還是副詞，然後進行不同的還原操作：
- 動詞： 將不同時態、語態、人稱的動詞還原為其原型 (infinitive form)。例如：
- "running" -> "run" "ran" -> "run" "runs" -> "run" "is running" -> "be running" (有時會還原到更基本的形式 "be run")
- 名詞： 將複數名詞還原為單數形式。例如：
- "dogs" -> "dog" "boxes" -> "box" "children" -> "child"
- 形容詞： 將比較級和最高級形容詞還原為基本形式。例如：
- "better" -> "good" "best" -> "good" "happier" -> "happy"
- 副詞： 有些副詞也會被還原。例如：
- "happily" -> "happy"
詞形還原的例子 (英文)：
- running -> run
- ran -> run
- runs -> run
- walked -> walk
- walking -> walk
- walks -> walk
- happiness -> happiness (通常名詞會還原到其基本形式)
- happily -> happy (需要考慮詞性是副詞)
- cats -> cat
- foxes -> fox
- better -> good
- best -> good
詞形還原的優點：
- 更準確的詞語歸類： 由於考慮了詞性和語境，詞形還原能更準確地將不同的詞形歸為同一個詞元。
- 產生語法上正確的詞根： 詞形還原的結果總是詞典中存在的有效詞語，這有助於後續的語義分析。
詞形還原的缺點：
- 計算成本更高： 相較於基於規則的詞幹提取，詞形還原通常需要查詢詞彙知識庫和進行更複雜的分析，因此計算成本更高。
- 需要詞性標註： 有些詞形還原算法需要知道詞語的詞性才能進行正確的還原，這就需要在詞形還原之前進行詞性標註。
詞形還原的常用工具和庫：
許多 NLP 工具庫都提供了詞形還原的功能，例如：
- NLTK (Natural Language Toolkit): 提供了 WordNet Lemmatizer，可以使用 WordNet 詞彙庫進行詞形還原。
- spaCy: 提供了高效的詞形還原功能，並且集成了詞性標註器。
詞形還原 vs. 詞幹提取 (Lemmatization vs. Stemming):
正如之前提到的，詞形還原和詞幹提取都是將詞語簡化的方法，但主要的區別在於：
- 詞幹提取 是一種更快速、更簡單的基於規則的方法，可能產生非實際詞語的詞幹。
- 詞形還原 是一種更精確、更複雜的方法，它考慮詞性和語境，並始終產生語法上正確的詞根（詞元）。
在實際應用中，選擇使用詞形還原還是詞幹提取取決於具體的任務需求。如果需要更精確的語義分析，詞形還原通常是更好的選擇。如果對性能要求更高，且可以容忍一定程度的不準確性，詞幹提取可能更適合。
