「詞幹提取 (Stemming)」是文本前處理 (Text Preprocessing) 的一個步驟，旨在將詞語還原為它們的基本形式或詞幹 (stem)。這個過程通常通過移除詞語的詞綴（例如，後綴、前綴）來實現，目的是將具有相同詞根的不同詞形歸為一類，從而減少詞語的變異性，並提高後續 NLP 模型處理的效率。
你可以將詞幹提取想像成一種簡化的歸類方法，它不一定追求語法上的正確性，而是更注重找到詞語的核心部分。
詞幹提取的工作方式：詞幹提取算法通常基於一套簡單的規則，這些規則定義了如何移除詞語的詞綴。這些規則通常是語言相關的。例如，對於英文，一些常見的詞幹提取規則可能包括：
- 移除名詞複數的 "s" 或 "es" (例如，"dogs" -> "dog", "boxes" -> "box")
- 移除進行時態的 "ing" (例如，"running" -> "run")
- 移除過去式或過去分詞的 "ed" (例如，"walked" -> "walk")
- 移除副詞後綴 "ly" (例如，"happily" -> "happy")
詞幹提取的例子 (英文)：
- running -> run
- runs -> run
- ran -> ran (有些詞幹提取器可能不會處理這種不規則形式)
- walked -> walk
- walking -> walk
- walks -> walk
- happiness -> happi (這裡可以看到，詞幹提取並不總是產生一個有意義的單詞)
- happily -> happi
- cats -> cat
- foxes -> fox
詞幹提取的優點：
- 降低數據維度： 將不同的詞形歸為同一個詞幹可以減少詞彙表的大小，從而降低後續模型處理的數據維度。
- 提高模型泛化能力： 模型可能會將 "running" 和 "run" 視為不同的詞語，但實際上它們的語義是相關的。詞幹提取可以幫助模型將它們視為同一概念的不同形式，提高模型的泛化能力。
- 提高檢索效率： 在信息檢索中，搜索 "run" 這個詞也可能希望找到包含 "running" 或 "ran" 的文檔。詞幹提取可以幫助實現這種模糊匹配。
詞幹提取的缺點和局限性：
- 過度提取 (Over-stemming)： 有時詞幹提取會過度簡化詞語，導致不同的詞語被提取到相同的詞幹，即使它們的含義並不相關 (例如，"universe" 和 "university" 可能都被提取為 "univers")。
- 提取不足 (Under-stemming)： 有些詞語的不同形式可能無法被成功地提取到相同的詞幹 (例如，"ran" 可能不會被提取為 "run")。
- 可能產生無意義的詞幹： 詞幹提取的結果可能不是一個實際存在的單詞 (例如，"happiness" -> "happi")，這可能會影響模型的可解釋性。
- 語言依賴性強： 詞幹提取規則是高度依賴於語言的，需要為不同的語言設計不同的提取算法。
常見的詞幹提取算法：
- Porter Stemmer: 一種非常流行且被廣泛使用的英文詞幹提取算法，它基於一系列的規則來移除常見的英文詞綴。
- Snowball Stemmer (Porter2 Stemmer): Porter Stemmer 的改進版本，通常被認為比 Porter Stemmer 更精確。
- Lancaster Stemmer: 一種更激進的詞幹提取算法，可能會導致更嚴重的過度提取。
詞幹提取 vs. 詞形還原 (Stemming vs. Lemmatization):
詞幹提取和詞形還原都是將詞語還原為其基本形式的方法，但它們之間存在一些關鍵區別：
- 詞幹提取 (Stemming)： 是一種基於規則的簡化過程，旨在快速地將詞語歸為詞幹，不一定保證詞幹是語法上正確的詞語。
- 詞形還原 (Lemmatization)： 是一種更複雜的過程，它利用詞彙知識庫（例如 WordNet）來將詞語還原為它們的詞根形式（詞元或詞典形式），通常會考慮詞語的詞性，並產生語法上正確的詞語。
在選擇使用詞幹提取還是詞形還原時，需要根據具體的 NLP 任務需求來決定。如果任務對詞語的語義準確性要求不高，並且需要快速處理大量文本，則詞幹提取可能是一個更簡單有效的選擇。如果任務更注重詞語的語義和語法正確性，則詞形還原可能更適合。
