我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
Shi 和 Lin 於 2019 的論文中提出了一個問題：是否可以跳過初步的語法和詞彙訓練？系統能否在不依賴預先設計的語法樹的情況下理解語言，成為“無語法”的系統？基於 BERT 的模型能否在不經過這些傳統訓練階段的情況下執行語義角色標註 (SRL)？答案是肯定的！
Shi 和 Lin 於 2019 的論文，建議語義角色標註 (SRL) 可以被視為序列標註，並提供標準化的輸入格式，自那以來，OpenAI 已經達到接近人類水平的無語法 SRL，GPT-4 不僅超越了通過訓練模型來執行 SRL，甚至超越了無語法的標註，儘管 ChatGPT 的 GPT-4 沒有專門為 SRL 訓練，它依然能夠執行 SRL。
具有 GPT-4 的 ChatGPT 是一種生成式 AI 自回歸大型語言模型，因此，GPT-4 是隨機性的；它生成序列中最可能的 Token，但不會總是重複相同的結果，這些進化將我們帶入了人工智慧中的全新思維模式，GPT-4 是無語法的（不依賴規則庫）且具有隨機性。
這種模式轉變是人工智慧未來的一次飛躍，不要尋找一個每次執行時都重複自身或顯示一致輸出的系統，而要尋找相關性，關鍵問題在於評估回應是否可靠，而不是它是否重複！正是 ChatGPT 的隨機性使它具有吸引力並更具人性化。
