我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
語義角色標註 (SRL) 的無語法方法相當創新，傳統的自然語言處理方法包括依賴關係分析、詞性標註解析和學習短語結構，傳統方法會訓練模型理解句子的語法結構。
Shi 和 Lin 於 2019 年設計的模型並未使用顯式的語法分析過程，BERT 模型依賴其獨特的能力來理解句子的結構，它從大量的數據中隱式地捕捉語法特徵，而學會如何表示這些特徵，OpenAI 更進一步，讓其 GPT 模型在不經過繁瑣的特定任務訓練過程 (包括 SRL) 下學習語法，因此，GPT 模型中沒有語法樹 (無語法)。
SRL 將語義角色標註為單詞或單詞組在句子中所扮演的角色以及與謂語建立的關係，語義角色是名詞或名詞片語在句子中與主要動詞的關係所扮演的角色，例如，在句子 "Marvin walked in the park" 中，Marvin 是句子中事件的施動者，施動者是事件的執行者，主要動詞或支配動詞是 "walked"。
謂語描述關於主語或施動者的某些事情，謂語可以是提供關於主語特徵或行為的任何訊息，在我們的討論中，我們將謂語稱為主要動詞，例如，在句子 "Marvin walked in the park" 中，謂語的狹義形式是 "walked"，句子中的「in the park」修飾了「walked」的意思，並且是修飾語，圍繞謂語的名詞或名詞片語稱為參數或參數項，例如，Marvin 是謂語 walked 的參數。
