粗淺聊一下大語言模型LLM

根據Meta AI的文章提到，大型語言模型是具有超過 1,000 億個參數的自然語言處理（natural language processing，NLP）系統，經過大量文字訓練，能夠閱讀並回答問題或者生成新的文字。

同時LLM們，不一定只能去產新的文字，而是端看參數是什麼，如果參數的內容夠豐富，這個模型也能去做到其他的事情，比如產生程式碼、影像等等

而近期非常火紅的ChatGPT，就是一個很好的LLM範例，而且他的數據都龐大，且能透過搜索新的資料，去豐富其參數，故其模型能回答越來越多的問題。

在談LLM之前，必須談到NLP，也就是自然語言處理（natural language processing，NLP），根據維基百科上的介紹：

自然語言處理，是人工智慧和語言學領域的分支學科，包括多方面和步驟，基本有認知、理解、生成等部分。

自然語言認知和理解是讓電腦把輸入的語言變成有意思的符號和關係，然後根據目的再處理。自然語言生成系統則是把計算機數據轉化為自然語言。

簡單來說，就是透過各種步驟，讓電腦能消化文字，同時產出符合人類說話邏輯的文字與句子。

備註：自然語言就是通常是指一種自然地隨文化演化的語言，比如中文、英文等，簡單來說就是人類在說的語言。

而近期LLM的發展，要從差不多是2010的機器學習開始，根據網路上資料敘述是：既然無法讓機器思考、也無法餵給它所有知識，那能不能退而求其次，把看到的現象告訴它就好？於是科學家僅告訴機器如何識字，然後餵給它大量的現象，讓機器自己判斷，於是神奇的事發生了，機器找出了自己的規則、然後學習，這就是現代機器學習的開端，讓人工智慧有了大躍進，而且不斷進化中。(引用自https://futurecity.cw.com.tw/article/743)

而後從機器學習中，發展出的深度學習，可以電腦從大量的資料中，更好的去從海量的資料中，發展成可應用模型的機會，而其中2014的AlphaGo，可稱為深度學習的代表應用之一。

經過數年的發展，這些透過深度學習產生的模型陸續出現，而其中與NLP相關的語言模型，由於其龐大的資料與參數，被稱為LLM，在去年2022，BLOOM模型出現，被稱為全球最大的語言模型，內有1,760億個參數，可理解的 46 種語言和 13 種程式語言，當初由法國超級電腦執行運算練 117 天才完成。

LLM 在推動即時生成內容、文字摘要、客服聊天機器人與透過對話式人工智慧 (AI) 介面的問答等領域，卻能帶來莫大的好處。

以去年OpenAI推出的ChatGPT是目前最廣為人知的應用，該程式使用基於GPT-3.5架構的大型語言模型並透過強化學習進行訓練，ChatGPT使用基於人類回饋的強化學習進行訓練，這種方法透過人類干預以增強機器學習的效果，從而獲得更為逼真的結果。

ChatGPT強大的功能和產出，在一推出時就瘋迷了全世界，並帶來廣大的回響，其強大的學習與反饋能力，讓使用者可以更快的產出，不論是文字、或是程式。

雖然目前只是一個推廣階段，但可預見的是，當ChatGPT更加成熟，或者有更多類似的應用提出時，將可以取代人類進行相關的產出，包含行銷文案、論文、程式碼等等

人類的生產力可預見的將透過這些應用，而拉升一個檔次。