vocus logo

方格子 vocus

NLP 層次結構

更新 發佈閱讀 4 分鐘

自然語言處理(NLP)的層次結構通常指的是語言分析的不同層面,從溝通的組成部分到更複雜的理解和應用。以下是一個常見的 NLP 層次結構的:

1. 詞彙層(Lexical Level):

  • 焦點:單一詞彙及其特性。
  • 目標:分析字的形態(morphology,例如字根、導出、字尾)、詞性(part-of-speech, POS,例如名詞、動詞變化、形容詞)、詞形等。
  • 範例:
    • 將 "running" 劃分為字根 "run" 和後綴 "-ing"。
    • 句子 「貓坐在墊子上。」 中每個字的詞性:The (冠詞), cat (名詞), sat (動詞), on (介詞), the (冠詞), mat (名詞)。
    • 進行詞幹擷取(詞幹擷取)或詞形還原(詞形還原),將不同的詞形轉換為基本形式。

2. 句法層(句法層):

  • 焦點:詞彙如何組合成句子,以及句子的結構和文法關係。
  • 目標:分析句子的語法結構、依存關係(依存關係)和片語結構(片語結構)。
  • 範例:
    • 進行句法分析(句法分析),例如成分句法分析(選區分析)或依賴句法分析(依存句法分析),以理解句子中單字之間的語法關係。例如,辨識句子的主詞、謂詞、受詞等。
    • 將句子 "那隻大狗追著球。" 分析為一個包含名詞片語「大狗」和動詞片語「追球」的結構。

3. 語意層(Semantic Level):

  • 句子焦點:和文本的意義。
  • 目標:理解詞彙和句子在特定語境中的意思、語意關係(語意關係,例如同義、反義、上下位關係)和概念。
  • 範例:
    • 進行詞義消歧(詞義消歧),判斷一個字在特定句子中的具體意義,例如「bank」可以指銀行也可以指河岸。
    • 句子 "顧客抱怨了。" 「抱怨」中的語意是表達不滿。
    • 辨識句子之間的矛盾關係,例如蘊含(蘊含)或(矛盾)。

4. 話語層(Discourse Level):

  • 焦點:超越單一句子文字的連貫性和結構。
  • 目標:分析句子之間的關係、指涉消解(共指消解,判斷文本中不同的詞彙是否指向同一個實體)、話語結構(話語結構,例如敘述、運算)等。
  • 範例:
    • 在一段文章中,判斷代名詞「他」指的是前面提到的哪個人物。
    • 理解一篇新聞報導的組織結構,例如導語、主體、結論。
    • 分析對話中不同發言者之間的互動關係。

5. 語用層 (Pragmatic Level):

  • 焦點:語言在實際使用上的意義和意義,包括語境、說話者/作者的意思、聽話者/讀者的理解等。
  • 目標:理解字面意義以外的暗示、推論、語氣、隱喻、諷刺等。
  • 範例:
    • 理解說話者說「你能把鹽遞過來嗎?」 的實際意思是希望對方做出短暫的暗示,而不是詢問對方是否有能力做到。
    • 辨識一段文字中帶有的諷刺意義。
    • 根據上下文判斷問題是否為請求或建議。

這個層次結構提供了一個組織框架,用於理解 NLP 中涉及的不同分析層面。在實際應用中,許多 NLP 任務會涉及多個層次的分析。例如,一個問答系統可能需要理解詞彙、句法、好的語意和語音層的資訊才能給出準確的答案。隨著技術的發展,這些層次之間的界線也可能變得更加模糊,新的方法和技術也不斷修正。

留言
avatar-img
郝信華 iPAS AI應用規劃師 學習筆記
43會員
571內容數
現職 : 富邦建設資訊副理 證照:經濟部 iPAS AI應用規劃師 初級+中級(數據分析) AWS Certified AI Practitioner (AIF-C01) 其他:富邦美術館志工
2025/05/23
自然語言生成 (NLG) 是自然語言處理 (NLP) 的關鍵子領域,負責將機器可理解的資訊轉換為人類可讀的文本或語音。本文探討 NLG 的定義、過程、應用範圍,並闡述其與自然語言理解 (NLU) 的關係,說明 NLG 如何提升人機互動的自然度和效率。
2025/05/23
自然語言生成 (NLG) 是自然語言處理 (NLP) 的關鍵子領域,負責將機器可理解的資訊轉換為人類可讀的文本或語音。本文探討 NLG 的定義、過程、應用範圍,並闡述其與自然語言理解 (NLU) 的關係,說明 NLG 如何提升人機互動的自然度和效率。
2025/05/23
自然語言理解 Natural Language Understanding (NLU) 是 自然語言處理 (NLP) 的一個子領域。 簡單來說,如果說 NLP 的目標是讓電腦能夠「處理」人類語言,那麼 NLU 則更進一步,專注於讓電腦能夠「理解」人類語言的意義、意圖和語氣。
2025/05/23
自然語言理解 Natural Language Understanding (NLU) 是 自然語言處理 (NLP) 的一個子領域。 簡單來說,如果說 NLP 的目標是讓電腦能夠「處理」人類語言,那麼 NLU 則更進一步,專注於讓電腦能夠「理解」人類語言的意義、意圖和語氣。
2025/05/23
Natural Language Processing (NLP),中文稱為「自然語言處理」,是人工智慧 (AI) 領域的一個重要分支。 它的基本定義是: 讓電腦能夠理解、解釋、處理以及生成人類所使用的自然語言。 換句話說,NLP 的目標是讓電腦能夠像人類一樣,讀懂文字、聽懂語音,並能與人進行
2025/05/23
Natural Language Processing (NLP),中文稱為「自然語言處理」,是人工智慧 (AI) 領域的一個重要分支。 它的基本定義是: 讓電腦能夠理解、解釋、處理以及生成人類所使用的自然語言。 換句話說,NLP 的目標是讓電腦能夠像人類一樣,讀懂文字、聽懂語音,並能與人進行
看更多
你可能也想看
Thumbnail
債券投資,不只是高資產族群的遊戲 在傳統的投資觀念中,海外債券(Overseas Bonds)常被貼上「高資產族群專屬」的標籤。過去動輒 1 萬甚至 10 萬美元的最低申購門檻,讓許多想尋求穩定配息的小資族望而卻步。 然而,在股市波動劇烈的環境下,尋求穩定的美元現金流與被動收入成為許多投資人
Thumbnail
債券投資,不只是高資產族群的遊戲 在傳統的投資觀念中,海外債券(Overseas Bonds)常被貼上「高資產族群專屬」的標籤。過去動輒 1 萬甚至 10 萬美元的最低申購門檻,讓許多想尋求穩定配息的小資族望而卻步。 然而,在股市波動劇烈的環境下,尋求穩定的美元現金流與被動收入成為許多投資人
Thumbnail
透過川普的近期債券交易揭露,探討債券作為資產配置中「穩定磐石」的重要性。文章分析降息對債券的潛在影響,以及股神巴菲特的操作策略。並介紹玉山證券「小額債」平臺,如何讓小資族也能低門檻參與海外債券市場,實現「低門檻、低波動、固定收益」的務實投資方式。
Thumbnail
透過川普的近期債券交易揭露,探討債券作為資產配置中「穩定磐石」的重要性。文章分析降息對債券的潛在影響,以及股神巴菲特的操作策略。並介紹玉山證券「小額債」平臺,如何讓小資族也能低門檻參與海外債券市場,實現「低門檻、低波動、固定收益」的務實投資方式。
Thumbnail
解析「債券」如何成為資產配置中的穩定錨,提供低風險高回報的投資選項。 藉由玉山證券的低門檻債券服務,投資者可輕鬆入手,平衡風險並穩定財務。
Thumbnail
解析「債券」如何成為資產配置中的穩定錨,提供低風險高回報的投資選項。 藉由玉山證券的低門檻債券服務,投資者可輕鬆入手,平衡風險並穩定財務。
Thumbnail
相較於波動較大的股票,債券能提供固定現金流,而玉山證券推出的小額債,更以1000 美元的低門檻,讓學生與新手也能參與全球優質企業債投資。玉山E-Trader平台即時報價、條件式篩選與清楚的交易流程等特色,大幅降低投資難度,對於希望分散風險、建立穩定現金流的人來說,玉山小額債是一個值得嘗試的理財起點。
Thumbnail
相較於波動較大的股票,債券能提供固定現金流,而玉山證券推出的小額債,更以1000 美元的低門檻,讓學生與新手也能參與全球優質企業債投資。玉山E-Trader平台即時報價、條件式篩選與清楚的交易流程等特色,大幅降低投資難度,對於希望分散風險、建立穩定現金流的人來說,玉山小額債是一個值得嘗試的理財起點。
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 延續 AI說書 - 從0開始 - 93 介紹了 The Corpus of Linguistic Acceptability (CoLA),其核心思想為:如果該句子在語
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 延續 AI說書 - 從0開始 - 93 介紹了 The Corpus of Linguistic Acceptability (CoLA),其核心思想為:如果該句子在語
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 延續 AI說書 - 從0開始 - 93 介紹了 The Corpus of Linguistic Acceptability (CoLA),其核心思想為:如果該句子在語
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 延續 AI說書 - 從0開始 - 93 介紹了 The Corpus of Linguistic Acceptability (CoLA),其核心思想為:如果該句子在語
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 延續 AI說書 - 從0開始 - 93 介紹了 The Corpus of Linguistic Acceptability (CoLA),其核心思想為:如果該句子在語
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 延續 AI說書 - 從0開始 - 93 介紹了 The Corpus of Linguistic Acceptability (CoLA),其核心思想為:如果該句子在語
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 以下陳述任務 (Task)、模型 (Model)、微調 (Fine-Tuning)、GLUE (General Language Understanding Evalu
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 以下陳述任務 (Task)、模型 (Model)、微調 (Fine-Tuning)、GLUE (General Language Understanding Evalu
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 從 AI說書 - 從0開始 - 82 到 AI說書 - 從0開始 - 85 的說明,有一個很重要的結論:最適合您的模型不一定是排行榜上最好的模型,您需要學習 NLP 評
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 從 AI說書 - 從0開始 - 82 到 AI說書 - 從0開始 - 85 的說明,有一個很重要的結論:最適合您的模型不一定是排行榜上最好的模型,您需要學習 NLP 評
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 新模型和 Human Baselines 排名將不斷變化,Human Baselines 的位置自從基礎模型出現以來,它就不再具有多大意義了,這些排名只是表明經典 NL
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 新模型和 Human Baselines 排名將不斷變化,Human Baselines 的位置自從基礎模型出現以來,它就不再具有多大意義了,這些排名只是表明經典 NL
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 Transformers for Natural Language Processing and Computer Vision, 2024 這本書中講 Decoder
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 Transformers for Natural Language Processing and Computer Vision, 2024 這本書中講 Decoder
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 回顧我們在AI說書 - 從0開始 - 6中說當Context長度是n,且每個字用d維度的向量表示時有以下結論: Attention Layer的複雜度是O(n^2 *
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 回顧我們在AI說書 - 從0開始 - 6中說當Context長度是n,且每個字用d維度的向量表示時有以下結論: Attention Layer的複雜度是O(n^2 *
追蹤感興趣的內容從 Google News 追蹤更多 vocus 的最新精選內容追蹤 Google News