我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。
視覺化 Semantic Role Labeling (SRL) 語義角色標註可以加速對句子的理解,以句子「Marvin walked in the park」為例,其視覺化如下:當中角色為:
- Verb:句子的謂語 (V)
- Argument:句子的一個參數,名為 ARG0
- Modifier:句子的修飾語,在本例中為位置 (ARGM-LOC),它可以是副詞、形容詞或任何修飾謂語意義的東西
我們將用 ChatGPT 之 GPT-4 來執行 SRL 實驗,其特色為:
- 它是無語法的,這意味著它根本不依賴語法樹或規則,這種方法是從經典人工智慧到生成模型的典範轉移,產生模型偵測序列中的統計模式,但完全不學習規則,這些規則是透過統計訓練隱含的,而不是明確的
- 響應不是預先設計的,並且保持隨機性,這意味著我們將得到一個最可靠的(就像任何人工智慧模型一樣)輸出,但不是每次都得到相同的逐字輸出,這種隨機的行為使得最近的 LLM 變得非常像人類