粗淺聊一下大語言模型LLM

更新於 發佈於 閱讀時間約 4 分鐘

什麼是LLM?

根據Meta AI的文章提到,大型語言模型是具有超過 1,000 億個參數的自然語言處理(natural language processing,NLP)系統,經過大量文字訓練,能夠閱讀並回答問題或者生成新的文字。

同時LLM們,不一定只能去產新的文字,而是端看參數是什麼,如果參數的內容夠豐富,這個模型也能去做到其他的事情,比如產生程式碼、影像等等

而近期非常火紅的ChatGPT,就是一個很好的LLM範例,而且他的數據都龐大,且能透過搜索新的資料,去豐富其參數,故其模型能回答越來越多的問題。

LLM的發展

在談LLM之前,必須談到NLP,也就是自然語言處理(natural language processing,NLP),根據維基百科上的介紹:

自然語言處理,是人工智慧和語言學領域的分支學科,包括多方面和步驟,基本有認知、理解、生成等部分。

自然語言認知和理解是讓電腦把輸入的語言變成有意思的符號和關係,然後根據目的再處理。自然語言生成系統則是把計算機數據轉化為自然語言。

簡單來說,就是透過各種步驟,讓電腦能消化文字,同時產出符合人類說話邏輯的文字與句子。

備註:自然語言就是通常是指一種自然地隨文化演化的語言,比如中文、英文等,簡單來說就是人類在說的語言。

而近期LLM的發展,要從差不多是2010的機器學習開始,根據網路上資料敘述是:既然無法讓機器思考、也無法餵給它所有知識,那能不能退而求其次,把看到的現象告訴它就好?於是科學家僅告訴機器如何識字,然後餵給它大量的現象,讓機器自己判斷,於是神奇的事發生了,機器找出了自己的規則、然後學習,這就是現代機器學習的開端,讓人工智慧有了大躍進,而且不斷進化中。(引用自https://futurecity.cw.com.tw/article/743)

而後從機器學習中,發展出的深度學習,可以電腦從大量的資料中,更好的去從海量的資料中,發展成可應用模型的機會,而其中2014的AlphaGo,可稱為深度學習的代表應用之一。

經過數年的發展,這些透過深度學習產生的模型陸續出現,而其中與NLP相關的語言模型,由於其龐大的資料與參數,被稱為LLM,在去年2022,BLOOM模型出現,被稱為全球最大的語言模型,內有1,760億個參數,可理解的 46 種語言和 13 種程式語言,當初由法國超級電腦執行運算練 117 天才完成。

LLM的應用

LLM 在推動即時生成內容、文字摘要、客服聊天機器人與透過對話式人工智慧 (AI) 介面的問答等領域,卻能帶來莫大的好處。

以去年OpenAI推出的ChatGPT是目前最廣為人知的應用,該程式使用基於GPT-3.5架構的大型語言模型並透過強化學習進行訓練,ChatGPT使用基於人類回饋的強化學習進行訓練,這種方法透過人類干預以增強機器學習的效果,從而獲得更為逼真的結果。

ChatGPT強大的功能和產出,在一推出時就瘋迷了全世界,並帶來廣大的回響,其強大的學習與反饋能力,讓使用者可以更快的產出,不論是文字、或是程式。

未來發展

雖然目前只是一個推廣階段,但可預見的是,當ChatGPT更加成熟,或者有更多類似的應用提出時,將可以取代人類進行相關的產出,包含行銷文案、論文、程式碼等等

人類的生產力可預見的將透過這些應用,而拉升一個檔次。

留言
avatar-img
留言分享你的想法!
彼得潘-avatar-img
2023/03/19
剛才費了好長時間看“班德爾教授”批判LLM語言的論述:你不是一隻隨機鸚鵡 聊天機器人也不是人類 我喜歡章魚那個章節 似乎隱喻再聰明也只是會竊聽章魚
avatar-img
Domo沙龍-那些雜七雜八的文章匯集處
27會員
141內容數
Domo的沙龍,各種文章的匯集地 日常、評論、政治、趨勢、時事、職場、工作、創作、小說等。 都是我寫作的內容! 歡迎加入,Domo的沙龍
2024/09/13
2024/09/13
2024/08/16
前言 身為一個上班族,每天在公司至少會待滿8小時,加上中午午休,加上偶爾需要加班,一天有很大的機率超過1/3甚至到1/2的時間會待在公司。 那麼如何在公司待的舒服,就是件很重要的事情。 如果是在工作上備受長官肯定、喜愛,那不是這個文章要探討的事情,那可能另外要開一篇文章來講,但如果是讓自己在公
Thumbnail
2024/08/16
前言 身為一個上班族,每天在公司至少會待滿8小時,加上中午午休,加上偶爾需要加班,一天有很大的機率超過1/3甚至到1/2的時間會待在公司。 那麼如何在公司待的舒服,就是件很重要的事情。 如果是在工作上備受長官肯定、喜愛,那不是這個文章要探討的事情,那可能另外要開一篇文章來講,但如果是讓自己在公
Thumbnail
2024/07/24
又一個颱風天 今天是2024第一個颱風假,非常難得。 本來該周五發布,就提前吧~ 自從我離開那間接政府部門水利資訊的公司後,這好幾年間,我發現颱風變少了,就算有颱風,但基本上都是快到台灣就突然偏了。基本上都沒啥機會放到颱風假。 在颱風的日子裡,我每每都想起在那段時間當水情PM的時光,某方面來
Thumbnail
2024/07/24
又一個颱風天 今天是2024第一個颱風假,非常難得。 本來該周五發布,就提前吧~ 自從我離開那間接政府部門水利資訊的公司後,這好幾年間,我發現颱風變少了,就算有颱風,但基本上都是快到台灣就突然偏了。基本上都沒啥機會放到颱風假。 在颱風的日子裡,我每每都想起在那段時間當水情PM的時光,某方面來
Thumbnail
看更多
你可能也想看
Thumbnail
沙龍一直是創作與交流的重要空間,這次 vocus 全面改版了沙龍介面,就是為了讓好內容被好好看見! 你可以自由編排你的沙龍首頁版位,新版手機介面也讓每位訪客都能更快找到感興趣的內容、成為你的支持者。 改版完成後可以在社群媒體分享新版面,並標記 @vocus.official⁠ ♥️ ⁠
Thumbnail
沙龍一直是創作與交流的重要空間,這次 vocus 全面改版了沙龍介面,就是為了讓好內容被好好看見! 你可以自由編排你的沙龍首頁版位,新版手機介面也讓每位訪客都能更快找到感興趣的內容、成為你的支持者。 改版完成後可以在社群媒體分享新版面,並標記 @vocus.official⁠ ♥️ ⁠
Thumbnail
每年4月、5月都是最多稅要繳的月份,當然大部份的人都是有機會繳到「綜合所得稅」,只是相當相當多人還不知道,原來繳給政府的稅!可以透過一些有活動的銀行信用卡或電子支付來繳,從繳費中賺一點點小確幸!就是賺個1%~2%大家也是很開心的,因為你們把沒回饋變成有回饋,就是用卡的最高境界 所得稅線上申報
Thumbnail
每年4月、5月都是最多稅要繳的月份,當然大部份的人都是有機會繳到「綜合所得稅」,只是相當相當多人還不知道,原來繳給政府的稅!可以透過一些有活動的銀行信用卡或電子支付來繳,從繳費中賺一點點小確幸!就是賺個1%~2%大家也是很開心的,因為你們把沒回饋變成有回饋,就是用卡的最高境界 所得稅線上申報
Thumbnail
基本介紹及主要的功能。 淺層基礎原理解釋。 優缺點及問題分析。 ChatGPT,這個名字在過去幾個月內迅速成為科技界的一個熱門話題。它是由OpenAI發布的一款聊天機器人,自從去年11月推出以來,它以驚人的速度突破了1億的訪問量,不僅成為了成長速度最快的消費者應用程式,更在各種專業和學術
Thumbnail
基本介紹及主要的功能。 淺層基礎原理解釋。 優缺點及問題分析。 ChatGPT,這個名字在過去幾個月內迅速成為科技界的一個熱門話題。它是由OpenAI發布的一款聊天機器人,自從去年11月推出以來,它以驚人的速度突破了1億的訪問量,不僅成為了成長速度最快的消費者應用程式,更在各種專業和學術
Thumbnail
ChatGPT於2022年底問世後,人們陷入興奮、緊張、恐懼的情緒。ChatGPT屬於大型語言模型,簡稱LLM(large language model)。⋯ 一旦LLM開始變成服務後,當一個人無法駕馭一個LLM時,被淘汰的變成是LLM而非這個人了。⋯
Thumbnail
ChatGPT於2022年底問世後,人們陷入興奮、緊張、恐懼的情緒。ChatGPT屬於大型語言模型,簡稱LLM(large language model)。⋯ 一旦LLM開始變成服務後,當一個人無法駕馭一個LLM時,被淘汰的變成是LLM而非這個人了。⋯
Thumbnail
自然語言處理(NLP)透過深度學習和大數據,讓電腦理解語言、實現對話、翻譯等功能。然而,NLP也面臨失業風險和數據偏見等挑戰。建立政策法規確保公平使用,關注倫理和法律,實現NLP的可持續發展。
Thumbnail
自然語言處理(NLP)透過深度學習和大數據,讓電腦理解語言、實現對話、翻譯等功能。然而,NLP也面臨失業風險和數據偏見等挑戰。建立政策法規確保公平使用,關注倫理和法律,實現NLP的可持續發展。
Thumbnail
AI浪潮 自從去年ChatGPT後,AI這個本來沉寂已久的話題,瞬間火爆全世界,不論是各家各戶開始瘋狂訓練自己的大語言模型與基礎模型,包含法國的Bloom、Meta的LLaMA、AWS的Titan、Google的LaMDA等等,抑或是開始推出自己的生成式AI工具等等,例如Google的Bard、百
Thumbnail
AI浪潮 自從去年ChatGPT後,AI這個本來沉寂已久的話題,瞬間火爆全世界,不論是各家各戶開始瘋狂訓練自己的大語言模型與基礎模型,包含法國的Bloom、Meta的LLaMA、AWS的Titan、Google的LaMDA等等,抑或是開始推出自己的生成式AI工具等等,例如Google的Bard、百
Thumbnail
雖然ChatGPT這種基於大型語言模型(LLM)的助手, 在大部分的場景都能滿足我們的需求, 但也並非完美, 在使用時仍需注意一些隱患。 以下是LLM的一些缺陷及需要注意的點。 弱弱的數學造成明顯錯誤 過份樂觀帶來錯誤資訊 相信常常使用ChatGPT的朋友應該都有發現到, 不論我們怎麼提問, Cha
Thumbnail
雖然ChatGPT這種基於大型語言模型(LLM)的助手, 在大部分的場景都能滿足我們的需求, 但也並非完美, 在使用時仍需注意一些隱患。 以下是LLM的一些缺陷及需要注意的點。 弱弱的數學造成明顯錯誤 過份樂觀帶來錯誤資訊 相信常常使用ChatGPT的朋友應該都有發現到, 不論我們怎麼提問, Cha
Thumbnail
這篇文章介紹了ChatGPT,一種大型的語言模型,能以自然語言回答問題,但不透過搜尋罐頭文字或網路內容。其核心技術是自監督式學習,通過大量的網路資料進行訓練,讓模型能進行文字接龍。儘管GPT系列經歷了多次演進,並需用大量的訓練資料,它的問答能力仍有待提升。然而,透過不斷優化,我們已有了更進一步的版本
Thumbnail
這篇文章介紹了ChatGPT,一種大型的語言模型,能以自然語言回答問題,但不透過搜尋罐頭文字或網路內容。其核心技術是自監督式學習,通過大量的網路資料進行訓練,讓模型能進行文字接龍。儘管GPT系列經歷了多次演進,並需用大量的訓練資料,它的問答能力仍有待提升。然而,透過不斷優化,我們已有了更進一步的版本
Thumbnail
[進行中未完成] 1.簡介 本文旨在讓沒有計算機科學背景的人對ChatGPT和類似的人工智能系統 (如GPT-3、GPT-4、Bing Chat、Bard等)有一些了解。 ChatGPT是一種聊天機器人,是建立在大型語言模型之上的對話型人工智能。專業術語可能會讓人感到陌生,但此文將一一解釋這些概念。
Thumbnail
[進行中未完成] 1.簡介 本文旨在讓沒有計算機科學背景的人對ChatGPT和類似的人工智能系統 (如GPT-3、GPT-4、Bing Chat、Bard等)有一些了解。 ChatGPT是一種聊天機器人,是建立在大型語言模型之上的對話型人工智能。專業術語可能會讓人感到陌生,但此文將一一解釋這些概念。
Thumbnail
本文回答幾個問題:(一) 什麼叫做湧現;(二)湧現是什麼現象;(三)為什麼我們造不出自己的超級 AI。看完後,你會理解現在 AI 的現象跟趨勢、一些技術與專有名詞,像是參數、大型機構與他們模型的名字。
Thumbnail
本文回答幾個問題:(一) 什麼叫做湧現;(二)湧現是什麼現象;(三)為什麼我們造不出自己的超級 AI。看完後,你會理解現在 AI 的現象跟趨勢、一些技術與專有名詞,像是參數、大型機構與他們模型的名字。
Thumbnail
什麼是LLM? 根據Meta AI的文章提到,大型語言模型是具有超過 1,000 億個參數的自然語言處理(natural language processing,NLP)系統,經過大量文字訓練,能夠閱讀並回答問題或者生成新的文字。 同時LLM們,不一定只能去產新的文字,而是端看參數是什麼,如果參數的
Thumbnail
什麼是LLM? 根據Meta AI的文章提到,大型語言模型是具有超過 1,000 億個參數的自然語言處理(natural language processing,NLP)系統,經過大量文字訓練,能夠閱讀並回答問題或者生成新的文字。 同時LLM們,不一定只能去產新的文字,而是端看參數是什麼,如果參數的
Thumbnail
文字、語言是生活中不可或缺的一部分,而隨著網路時代的開始,我們更多的活動轉往網路、手機中,而最常見的媒介就是文字(語言)了,不論是新聞、個人心得、心情分享、論文等等,都是透過文字來表達想法。而這麼多的內容,電腦是如何呈現出我們感興趣的內容呢?那首先就是需要讓電腦能夠去解讀、使用文字這種非結構化資料,
Thumbnail
文字、語言是生活中不可或缺的一部分,而隨著網路時代的開始,我們更多的活動轉往網路、手機中,而最常見的媒介就是文字(語言)了,不論是新聞、個人心得、心情分享、論文等等,都是透過文字來表達想法。而這麼多的內容,電腦是如何呈現出我們感興趣的內容呢?那首先就是需要讓電腦能夠去解讀、使用文字這種非結構化資料,
追蹤感興趣的內容從 Google News 追蹤更多 vocus 的最新精選內容追蹤 Google News