自然語言處理(NLP)的層次結構通常指的是語言分析的不同層面,從溝通的組成部分到更複雜的理解和應用。以下是一個常見的 NLP 層次結構的:
1. 詞彙層(Lexical Level):
- 焦點:單一詞彙及其特性。
- 目標:分析字的形態(morphology,例如字根、導出、字尾)、詞性(part-of-speech, POS,例如名詞、動詞變化、形容詞)、詞形等。
- 範例:
- 將 "running" 劃分為字根 "run" 和後綴 "-ing"。
- 句子 「貓坐在墊子上。」 中每個字的詞性:The (冠詞), cat (名詞), sat (動詞), on (介詞), the (冠詞), mat (名詞)。
- 進行詞幹擷取(詞幹擷取)或詞形還原(詞形還原),將不同的詞形轉換為基本形式。
- 焦點:詞彙如何組合成句子,以及句子的結構和文法關係。
- 目標:分析句子的語法結構、依存關係(依存關係)和片語結構(片語結構)。
- 範例:
- 進行句法分析(句法分析),例如成分句法分析(選區分析)或依賴句法分析(依存句法分析),以理解句子中單字之間的語法關係。例如,辨識句子的主詞、謂詞、受詞等。
- 將句子 "那隻大狗追著球。" 分析為一個包含名詞片語「大狗」和動詞片語「追球」的結構。
3. 語意層(Semantic Level):
- 句子焦點:和文本的意義。
- 目標:理解詞彙和句子在特定語境中的意思、語意關係(語意關係,例如同義、反義、上下位關係)和概念。
- 範例:
- 進行詞義消歧(詞義消歧),判斷一個字在特定句子中的具體意義,例如「bank」可以指銀行也可以指河岸。
- 句子 "顧客抱怨了。" 「抱怨」中的語意是表達不滿。
- 辨識句子之間的矛盾關係,例如蘊含(蘊含)或(矛盾)。
4. 話語層(Discourse Level):
- 焦點:超越單一句子文字的連貫性和結構。
- 目標:分析句子之間的關係、指涉消解(共指消解,判斷文本中不同的詞彙是否指向同一個實體)、話語結構(話語結構,例如敘述、運算)等。
- 範例:
- 在一段文章中,判斷代名詞「他」指的是前面提到的哪個人物。
- 理解一篇新聞報導的組織結構,例如導語、主體、結論。
- 分析對話中不同發言者之間的互動關係。
5. 語用層 (Pragmatic Level):
- 焦點:語言在實際使用上的意義和意義,包括語境、說話者/作者的意思、聽話者/讀者的理解等。
- 目標:理解字面意義以外的暗示、推論、語氣、隱喻、諷刺等。
- 範例:
- 理解說話者說「你能把鹽遞過來嗎?」 的實際意思是希望對方做出短暫的暗示,而不是詢問對方是否有能力做到。
- 辨識一段文字中帶有的諷刺意義。
- 根據上下文判斷問題是否為請求或建議。
這個層次結構提供了一個組織框架,用於理解 NLP 中涉及的不同分析層面。在實際應用中,許多 NLP 任務會涉及多個層次的分析。例如,一個問答系統可能需要理解詞彙、句法、好的語意和語音層的資訊才能給出準確的答案。隨著技術的發展,這些層次之間的界線也可能變得更加模糊,新的方法和技術也不斷修正。