粗淺聊一下大語言模型LLM

更新 發佈閱讀 4 分鐘

什麼是LLM?

根據Meta AI的文章提到,大型語言模型是具有超過 1,000 億個參數的自然語言處理(natural language processing,NLP)系統,經過大量文字訓練,能夠閱讀並回答問題或者生成新的文字。

同時LLM們,不一定只能去產新的文字,而是端看參數是什麼,如果參數的內容夠豐富,這個模型也能去做到其他的事情,比如產生程式碼、影像等等

而近期非常火紅的ChatGPT,就是一個很好的LLM範例,而且他的數據都龐大,且能透過搜索新的資料,去豐富其參數,故其模型能回答越來越多的問題。

LLM的發展

在談LLM之前,必須談到NLP,也就是自然語言處理(natural language processing,NLP),根據維基百科上的介紹:

自然語言處理,是人工智慧和語言學領域的分支學科,包括多方面和步驟,基本有認知、理解、生成等部分。

自然語言認知和理解是讓電腦把輸入的語言變成有意思的符號和關係,然後根據目的再處理。自然語言生成系統則是把計算機數據轉化為自然語言。

簡單來說,就是透過各種步驟,讓電腦能消化文字,同時產出符合人類說話邏輯的文字與句子。

備註:自然語言就是通常是指一種自然地隨文化演化的語言,比如中文、英文等,簡單來說就是人類在說的語言。

而近期LLM的發展,要從差不多是2010的機器學習開始,根據網路上資料敘述是:既然無法讓機器思考、也無法餵給它所有知識,那能不能退而求其次,把看到的現象告訴它就好?於是科學家僅告訴機器如何識字,然後餵給它大量的現象,讓機器自己判斷,於是神奇的事發生了,機器找出了自己的規則、然後學習,這就是現代機器學習的開端,讓人工智慧有了大躍進,而且不斷進化中。(引用自https://futurecity.cw.com.tw/article/743)

而後從機器學習中,發展出的深度學習,可以電腦從大量的資料中,更好的去從海量的資料中,發展成可應用模型的機會,而其中2014的AlphaGo,可稱為深度學習的代表應用之一。

經過數年的發展,這些透過深度學習產生的模型陸續出現,而其中與NLP相關的語言模型,由於其龐大的資料與參數,被稱為LLM,在去年2022,BLOOM模型出現,被稱為全球最大的語言模型,內有1,760億個參數,可理解的 46 種語言和 13 種程式語言,當初由法國超級電腦執行運算練 117 天才完成。

LLM的應用

LLM 在推動即時生成內容、文字摘要、客服聊天機器人與透過對話式人工智慧 (AI) 介面的問答等領域,卻能帶來莫大的好處。

以去年OpenAI推出的ChatGPT是目前最廣為人知的應用,該程式使用基於GPT-3.5架構的大型語言模型並透過強化學習進行訓練,ChatGPT使用基於人類回饋的強化學習進行訓練,這種方法透過人類干預以增強機器學習的效果,從而獲得更為逼真的結果。

ChatGPT強大的功能和產出,在一推出時就瘋迷了全世界,並帶來廣大的回響,其強大的學習與反饋能力,讓使用者可以更快的產出,不論是文字、或是程式。

未來發展

雖然目前只是一個推廣階段,但可預見的是,當ChatGPT更加成熟,或者有更多類似的應用提出時,將可以取代人類進行相關的產出,包含行銷文案、論文、程式碼等等

人類的生產力可預見的將透過這些應用,而拉升一個檔次。

留言
avatar-img
柏君哥為什麼
28會員
151內容數
這裡是邏輯與感性的交會之處,也是我觀察世界的窗口。 我將深刻的職場觀測與時事趨勢,對應溫潤的心靈共鳴與日常體悟,並在虛構小說的敘事實驗中探尋真實。 每一篇文字,都是將生活的深度鑽研,凝煉成閃耀的玉石。 在柏君哥的沙龍裡,在字裡行間,尋找那份觸動心靈的真實。 讓我們攜手,一起展開這場文字的旅程。
柏君哥為什麼的其他內容
2024/09/13
2024/09/13
2024/08/16
前言 身為一個上班族,每天在公司至少會待滿8小時,加上中午午休,加上偶爾需要加班,一天有很大的機率超過1/3甚至到1/2的時間會待在公司。 那麼如何在公司待的舒服,就是件很重要的事情。 如果是在工作上備受長官肯定、喜愛,那不是這個文章要探討的事情,那可能另外要開一篇文章來講,但如果是讓自己在公
Thumbnail
2024/08/16
前言 身為一個上班族,每天在公司至少會待滿8小時,加上中午午休,加上偶爾需要加班,一天有很大的機率超過1/3甚至到1/2的時間會待在公司。 那麼如何在公司待的舒服,就是件很重要的事情。 如果是在工作上備受長官肯定、喜愛,那不是這個文章要探討的事情,那可能另外要開一篇文章來講,但如果是讓自己在公
Thumbnail
2024/07/24
又一個颱風天 今天是2024第一個颱風假,非常難得。 本來該周五發布,就提前吧~ 自從我離開那間接政府部門水利資訊的公司後,這好幾年間,我發現颱風變少了,就算有颱風,但基本上都是快到台灣就突然偏了。基本上都沒啥機會放到颱風假。 在颱風的日子裡,我每每都想起在那段時間當水情PM的時光,某方面來
Thumbnail
2024/07/24
又一個颱風天 今天是2024第一個颱風假,非常難得。 本來該周五發布,就提前吧~ 自從我離開那間接政府部門水利資訊的公司後,這好幾年間,我發現颱風變少了,就算有颱風,但基本上都是快到台灣就突然偏了。基本上都沒啥機會放到颱風假。 在颱風的日子裡,我每每都想起在那段時間當水情PM的時光,某方面來
Thumbnail
看更多
你可能也想看
Thumbnail
債券投資,不只是高資產族群的遊戲 在傳統的投資觀念中,海外債券(Overseas Bonds)常被貼上「高資產族群專屬」的標籤。過去動輒 1 萬甚至 10 萬美元的最低申購門檻,讓許多想尋求穩定配息的小資族望而卻步。 然而,在股市波動劇烈的環境下,尋求穩定的美元現金流與被動收入成為許多投資人
Thumbnail
債券投資,不只是高資產族群的遊戲 在傳統的投資觀念中,海外債券(Overseas Bonds)常被貼上「高資產族群專屬」的標籤。過去動輒 1 萬甚至 10 萬美元的最低申購門檻,讓許多想尋求穩定配息的小資族望而卻步。 然而,在股市波動劇烈的環境下,尋求穩定的美元現金流與被動收入成為許多投資人
Thumbnail
透過川普的近期債券交易揭露,探討債券作為資產配置中「穩定磐石」的重要性。文章分析降息對債券的潛在影響,以及股神巴菲特的操作策略。並介紹玉山證券「小額債」平臺,如何讓小資族也能低門檻參與海外債券市場,實現「低門檻、低波動、固定收益」的務實投資方式。
Thumbnail
透過川普的近期債券交易揭露,探討債券作為資產配置中「穩定磐石」的重要性。文章分析降息對債券的潛在影響,以及股神巴菲特的操作策略。並介紹玉山證券「小額債」平臺,如何讓小資族也能低門檻參與海外債券市場,實現「低門檻、低波動、固定收益」的務實投資方式。
Thumbnail
解析「債券」如何成為資產配置中的穩定錨,提供低風險高回報的投資選項。 藉由玉山證券的低門檻債券服務,投資者可輕鬆入手,平衡風險並穩定財務。
Thumbnail
解析「債券」如何成為資產配置中的穩定錨,提供低風險高回報的投資選項。 藉由玉山證券的低門檻債券服務,投資者可輕鬆入手,平衡風險並穩定財務。
Thumbnail
相較於波動較大的股票,債券能提供固定現金流,而玉山證券推出的小額債,更以1000 美元的低門檻,讓學生與新手也能參與全球優質企業債投資。玉山E-Trader平台即時報價、條件式篩選與清楚的交易流程等特色,大幅降低投資難度,對於希望分散風險、建立穩定現金流的人來說,玉山小額債是一個值得嘗試的理財起點。
Thumbnail
相較於波動較大的股票,債券能提供固定現金流,而玉山證券推出的小額債,更以1000 美元的低門檻,讓學生與新手也能參與全球優質企業債投資。玉山E-Trader平台即時報價、條件式篩選與清楚的交易流程等特色,大幅降低投資難度,對於希望分散風險、建立穩定現金流的人來說,玉山小額債是一個值得嘗試的理財起點。
Thumbnail
基本介紹及主要的功能。 淺層基礎原理解釋。 優缺點及問題分析。 ChatGPT,這個名字在過去幾個月內迅速成為科技界的一個熱門話題。它是由OpenAI發布的一款聊天機器人,自從去年11月推出以來,它以驚人的速度突破了1億的訪問量,不僅成為了成長速度最快的消費者應用程式,更在各種專業和學術
Thumbnail
基本介紹及主要的功能。 淺層基礎原理解釋。 優缺點及問題分析。 ChatGPT,這個名字在過去幾個月內迅速成為科技界的一個熱門話題。它是由OpenAI發布的一款聊天機器人,自從去年11月推出以來,它以驚人的速度突破了1億的訪問量,不僅成為了成長速度最快的消費者應用程式,更在各種專業和學術
Thumbnail
ChatGPT於2022年底問世後,人們陷入興奮、緊張、恐懼的情緒。ChatGPT屬於大型語言模型,簡稱LLM(large language model)。⋯ 一旦LLM開始變成服務後,當一個人無法駕馭一個LLM時,被淘汰的變成是LLM而非這個人了。⋯
Thumbnail
ChatGPT於2022年底問世後,人們陷入興奮、緊張、恐懼的情緒。ChatGPT屬於大型語言模型,簡稱LLM(large language model)。⋯ 一旦LLM開始變成服務後,當一個人無法駕馭一個LLM時,被淘汰的變成是LLM而非這個人了。⋯
Thumbnail
自然語言處理(NLP)透過深度學習和大數據,讓電腦理解語言、實現對話、翻譯等功能。然而,NLP也面臨失業風險和數據偏見等挑戰。建立政策法規確保公平使用,關注倫理和法律,實現NLP的可持續發展。
Thumbnail
自然語言處理(NLP)透過深度學習和大數據,讓電腦理解語言、實現對話、翻譯等功能。然而,NLP也面臨失業風險和數據偏見等挑戰。建立政策法規確保公平使用,關注倫理和法律,實現NLP的可持續發展。
Thumbnail
AI浪潮 自從去年ChatGPT後,AI這個本來沉寂已久的話題,瞬間火爆全世界,不論是各家各戶開始瘋狂訓練自己的大語言模型與基礎模型,包含法國的Bloom、Meta的LLaMA、AWS的Titan、Google的LaMDA等等,抑或是開始推出自己的生成式AI工具等等,例如Google的Bard、百
Thumbnail
AI浪潮 自從去年ChatGPT後,AI這個本來沉寂已久的話題,瞬間火爆全世界,不論是各家各戶開始瘋狂訓練自己的大語言模型與基礎模型,包含法國的Bloom、Meta的LLaMA、AWS的Titan、Google的LaMDA等等,抑或是開始推出自己的生成式AI工具等等,例如Google的Bard、百
Thumbnail
雖然ChatGPT這種基於大型語言模型(LLM)的助手, 在大部分的場景都能滿足我們的需求, 但也並非完美, 在使用時仍需注意一些隱患。 以下是LLM的一些缺陷及需要注意的點。 弱弱的數學造成明顯錯誤 過份樂觀帶來錯誤資訊 相信常常使用ChatGPT的朋友應該都有發現到, 不論我們怎麼提問, Cha
Thumbnail
雖然ChatGPT這種基於大型語言模型(LLM)的助手, 在大部分的場景都能滿足我們的需求, 但也並非完美, 在使用時仍需注意一些隱患。 以下是LLM的一些缺陷及需要注意的點。 弱弱的數學造成明顯錯誤 過份樂觀帶來錯誤資訊 相信常常使用ChatGPT的朋友應該都有發現到, 不論我們怎麼提問, Cha
Thumbnail
這篇文章介紹了ChatGPT,一種大型的語言模型,能以自然語言回答問題,但不透過搜尋罐頭文字或網路內容。其核心技術是自監督式學習,通過大量的網路資料進行訓練,讓模型能進行文字接龍。儘管GPT系列經歷了多次演進,並需用大量的訓練資料,它的問答能力仍有待提升。然而,透過不斷優化,我們已有了更進一步的版本
Thumbnail
這篇文章介紹了ChatGPT,一種大型的語言模型,能以自然語言回答問題,但不透過搜尋罐頭文字或網路內容。其核心技術是自監督式學習,通過大量的網路資料進行訓練,讓模型能進行文字接龍。儘管GPT系列經歷了多次演進,並需用大量的訓練資料,它的問答能力仍有待提升。然而,透過不斷優化,我們已有了更進一步的版本
Thumbnail
[進行中未完成] 1.簡介 本文旨在讓沒有計算機科學背景的人對ChatGPT和類似的人工智能系統 (如GPT-3、GPT-4、Bing Chat、Bard等)有一些了解。 ChatGPT是一種聊天機器人,是建立在大型語言模型之上的對話型人工智能。專業術語可能會讓人感到陌生,但此文將一一解釋這些概念。
Thumbnail
[進行中未完成] 1.簡介 本文旨在讓沒有計算機科學背景的人對ChatGPT和類似的人工智能系統 (如GPT-3、GPT-4、Bing Chat、Bard等)有一些了解。 ChatGPT是一種聊天機器人,是建立在大型語言模型之上的對話型人工智能。專業術語可能會讓人感到陌生,但此文將一一解釋這些概念。
Thumbnail
本文回答幾個問題:(一) 什麼叫做湧現;(二)湧現是什麼現象;(三)為什麼我們造不出自己的超級 AI。看完後,你會理解現在 AI 的現象跟趨勢、一些技術與專有名詞,像是參數、大型機構與他們模型的名字。
Thumbnail
本文回答幾個問題:(一) 什麼叫做湧現;(二)湧現是什麼現象;(三)為什麼我們造不出自己的超級 AI。看完後,你會理解現在 AI 的現象跟趨勢、一些技術與專有名詞,像是參數、大型機構與他們模型的名字。
追蹤感興趣的內容從 Google News 追蹤更多 vocus 的最新精選內容追蹤 Google News