AI 憑什麼這麼強 (一):人工智能模型的湧現現象

更新於 發佈於 閱讀時間約 7 分鐘
Photo by Shahadat Rahman on Unsplash

Photo by Shahadat Rahman on Unsplash

本文長2080字,回答幾個問題:

(一) 什麼叫做湧現;(二)湧現是什麼現象;(三)為什麼我們造不出自己的超級 AI。

看完後,你會理解現在 AI 的現象跟趨勢、一些技術與專有名詞,像是參數、大型機構與他們模型的名字。

---------正文開始---------

前陣子準備演講時,找到一份Google與史丹佛大學做的有趣研究,講到 AI 的湧現 (Emergent Ability)。

AI 領域的湧現現象,展現在機器突破某個臨界值之後,變得格外強大,運算系統產生很多難以理解的現象或反應,使得我們感覺機器彷彿有著人的智慧。


|湧現與模型的超凡表現

臨界值又是以甚麼為判準呢?這份研究中提到 AI 的湧現,出現在「大模型」之上。大模型可以從運算量、訓練資料量或參數量而言。而該論文著墨在參數量。參數量意味著模型的複雜度與性能。

而下圖展現不同的大型語言模型,在不同任務上的表現。

Source: https://openreview.net/pdf?id=yzkSU5zdwD

Source: https://openreview.net/pdf?id=yzkSU5zdwD

每張圖 X 軸都是運算量的衡量單位,量級越大,對應的模型參數量也就越多。Y軸則是衡量模型表現的指標。這些任務涵蓋算數、國際音標轉換、拼字、外語Q&A 以及概念的映射/對應等等。

這裡面的模型不乏有像 GPT3 (ChatGPT的前身) 、或是Google的LaMDA,這種當今眾人都多少耳聞的模型。

不約而同地,模型的參數量在達到一個門檻,看起來是10的22至23次方的FLOPs,也就是100億到700億範圍的參數量,模型的表現會顯著飛升,機器的表現也會越加強大成熟。

反之,若未能突破此門檻,模型的表現大多在隨機水準中徘徊。這樣的機器,你可能不會覺得他是聰明可用,或甚至是有智能的。

GPT3.5,也就是ChatGPT目前的通用版本,參數是1750億,參數量已經超標了。這也是為何他能夠表現的這麼不凡的其中一個原因。


|來看看聰明的人工智慧,是如何表現的

聰明的人工智慧挺多的,有研究者實驗,他們給 ChatGPT 一串表情符號

**👧🐟🐠🐡

讓他猜一部電影。

你們猜的到嗎?我是滿頭問號啦,但 AI 可以準確猜中答案:「海底總動員」。我去試了一下,真的可以。奇怪,他明明連文字都沒有。

Bingo!!

Bingo!!

李宏毅教授的課程也提到類似的現象 (以下連結影片42分52秒處開始)。該範例讓機器做文字轉語音,也就是讓機器發聲。輸入內容是「發財發財發財發財」,四次發財。

結果呢,唸四次發財,後面兩次的發財竟然出現了抑揚頓挫。照理來講不是應該用一樣的聲調,把發財唸完四次嗎?經測試,如果只發兩次發財,則不會有此現象。


至於為何會這樣呢?不知道。這種「我明明沒有教你啊,你怎麼會」的緊張感,就是湧現帶給我們的壓力。


|我們造的出湧現的 AI 模型嗎?

關於這個問題,答案是不太容易。

為了讓大家感受一下百億參數,我來講個人技術操作好了。

兩年多前我在防疫旅館隔離,閒來沒事就玩了一下神經網路 (Neural Network) 模型。下面簡略敘述一下技術名詞 (細節設定請看我有點混亂的Github程式碼)。當時,我使用了1995 ~ 1997年三年的 SP500 資料,其實沒有很多,784筆而已哦。訓練了一個設計非常樸素的模型 (一個隱藏層的雙向長短期記憶模型)。

這個模型──配上給定的訓練資料和參數設定,總共只有 13萬3377 個參數。

Source: https://github.com/DarrenTsungjenWu/Neural-Networks/blob/master/RNN-LSTM.ipynb

Source: https://github.com/DarrenTsungjenWu/Neural-Networks/blob/master/RNN-LSTM.ipynb

如果對於「參數」的技術有興趣,歡迎到以下影片看解說 (47分30秒左右開始),這是我們的 AI 社團 (歡迎加入!!) 的講座,講者是藍星球資訊科技的宋浩總經理──從2023年三月中起我們每週都請業界賢達演講。

工商結束。

再補充個事件吧,前陣子Facebook (Meta) 公司的大語言模型 Llama 外流,也引起許多討論。我直覺疑問是,誰跑得動那個模型呢?不論你是要直接拿來用或是要做維護,跑得起模型是最基本的。

Llama 也同 ChatGPT,是一個巨無霸模型,其複雜規模外加訓練所用的資料量,誰能否跑得動都很成問題。

這也反映一個現實,就是我們基本上是沒有能力,創建一個自己的大型語言模型的。這是運算能力的問題、這是軟體硬體的問題,這也是錢的問題。

在大機構面前,我們多無能為力呢?具體一點,有一次和主管同事去吃飯,閒聊到語言模型的話題。

當時有人說,Google 在 2018 年做出來的 BERT 模型,這是一個沒有ChatGPT那麼大那麼通用的模型,全世界能跑得動那個模型並且重現 Google 結果的,也不到 10 家組織或機構。

差距就在那,東西都送給你,你也不一定玩得起來。


|造物者的奇妙設計:湧現

湧現不只在 AI 的參數量,湧現也不只是AI 給我們的困惑與恐懼。湧現在世界各地也很普遍。開場提到的論文,引述了諾貝爾物理學獎得主 Anderson 的話:

Emergence is when quantitative changes in a system result in qualitative changes in behavior

就是我中國的朋友們很愛說的一句話:「量變產生質變」。

也就是一個系統中的數量單位達到一定的量,他就會產生一種全新的行為和能力。這些單位也許個別相當簡單、功能不多,但是經由互相的影響,一種全新的狀態就產生了。

這種現象出現在很多地方。

像是以個體來說,每個人都有自己的情感跟想法;但在聚集之中就產生了社會的規範和文化。

在金融上,我6年前寫了金融海嘯的系列文 (首篇) 也談到一個負面的湧現:經年累月的個別系統問題,帶來整個金融的崩壞。

像是證券化──把所有貸款變成許多全新可交易的產品,再來是亂給信用評等導致大家混亂的信用評價機構;最後是狂印鈔票的聯準會。

這三個各自為政的元素,經年累月下來就湊成了一個完美風暴。沒有人希望事情變糟,每個人都按照古典經濟學中理性自利的方向前進,最終卻造成了沒有人可以預測的打擊。

沒錯,不可預測或是難以解釋,就是湧現的力量。

湧現不是元素疊加而成,而是交互 (correlate)。因此很難從單一個元素或層面,就了解湧現這種整個系統的變化。

這篇寫到這好像也有點長了,下次有機會來聊聊以 AI 為例怎麼分析/理解湧現。還有在湧現力量驅使下的AI世界,我們會/應當如何。這題應該很好玩,哈。



留言
avatar-img
留言分享你的想法!
avatar-img
Darren的沙龍
14會員
14內容數
大數據意味著什麼?數據科學背後有怎樣的mind set和技術?數據科學家又做些什麼?這些科技/技術,帶給我們什麼生活上和人文上的省思?這個專題會橫跨這些彼此相關的面向,避開生澀的專業詞彙,探索這些事情背後的樣貌。應該會是有趣的知識和想法分享﹝笑﹞
Darren的沙龍的其他內容
2024/08/31
文章主攻四大領域:機率與統計、計量經濟和量化金融分析。以機率統計為核心主幹,詳加說明其精神與應用。也會輔以其餘三個領域的介紹作為統計實例。統計學是AI / 機器學習背後的英雄,假設檢定與統計分布是其兩大特色,前者找出彼此相互關聯的變數;後者則幫助我們進行模擬和抽樣,幫助我們找尋最優解或近似真實值。
Thumbnail
2024/08/31
文章主攻四大領域:機率與統計、計量經濟和量化金融分析。以機率統計為核心主幹,詳加說明其精神與應用。也會輔以其餘三個領域的介紹作為統計實例。統計學是AI / 機器學習背後的英雄,假設檢定與統計分布是其兩大特色,前者找出彼此相互關聯的變數;後者則幫助我們進行模擬和抽樣,幫助我們找尋最優解或近似真實值。
Thumbnail
2024/07/19
本文要探討AI的任務與實戰場景。AI技術已深入生活各層面,從違約預測到都市交通管理。AI任務主要有三類:數值型資料處理、自然語言處理(NLP)和電腦影像辨識。時間序列資料和強化學習方法(如AlphaGo)也引起廣泛關注。AI演算法和方法因應不同學派和技術發展而多樣化,了解這些基礎有助選擇適合研究方向
Thumbnail
2024/07/19
本文要探討AI的任務與實戰場景。AI技術已深入生活各層面,從違約預測到都市交通管理。AI任務主要有三類:數值型資料處理、自然語言處理(NLP)和電腦影像辨識。時間序列資料和強化學習方法(如AlphaGo)也引起廣泛關注。AI演算法和方法因應不同學派和技術發展而多樣化,了解這些基礎有助選擇適合研究方向
Thumbnail
2024/07/05
本文談及資料科學的領域與分工。首先是建造一個AI的研發流程,資料收集到 AI 模型訓練的過程,AI經歷這一切流程被創造出來並產生價值;再來本文也提及在這個領域中的各種腳色、資料工程師、數據庫工程師、資料科學家和資料分析師的各種介紹。並且強調跨領域合作的重要性。
Thumbnail
2024/07/05
本文談及資料科學的領域與分工。首先是建造一個AI的研發流程,資料收集到 AI 模型訓練的過程,AI經歷這一切流程被創造出來並產生價值;再來本文也提及在這個領域中的各種腳色、資料工程師、數據庫工程師、資料科學家和資料分析師的各種介紹。並且強調跨領域合作的重要性。
Thumbnail
看更多
你可能也想看
Thumbnail
TOMICA第一波推出吉伊卡哇聯名小車車的時候馬上就被搶購一空,一直很扼腕當時沒有趕緊入手。前陣子閒來無事逛蝦皮,突然發現幾家商場都又開始重新上架,價格也都回到正常水準,估計是官方又再補了一批貨,想都沒想就立刻下單! 同文也跟大家分享近期蝦皮購物紀錄、好用推薦、蝦皮分潤計畫的聯盟行銷!
Thumbnail
TOMICA第一波推出吉伊卡哇聯名小車車的時候馬上就被搶購一空,一直很扼腕當時沒有趕緊入手。前陣子閒來無事逛蝦皮,突然發現幾家商場都又開始重新上架,價格也都回到正常水準,估計是官方又再補了一批貨,想都沒想就立刻下單! 同文也跟大家分享近期蝦皮購物紀錄、好用推薦、蝦皮分潤計畫的聯盟行銷!
Thumbnail
每年4月、5月都是最多稅要繳的月份,當然大部份的人都是有機會繳到「綜合所得稅」,只是相當相當多人還不知道,原來繳給政府的稅!可以透過一些有活動的銀行信用卡或電子支付來繳,從繳費中賺一點點小確幸!就是賺個1%~2%大家也是很開心的,因為你們把沒回饋變成有回饋,就是用卡的最高境界 所得稅線上申報
Thumbnail
每年4月、5月都是最多稅要繳的月份,當然大部份的人都是有機會繳到「綜合所得稅」,只是相當相當多人還不知道,原來繳給政府的稅!可以透過一些有活動的銀行信用卡或電子支付來繳,從繳費中賺一點點小確幸!就是賺個1%~2%大家也是很開心的,因為你們把沒回饋變成有回饋,就是用卡的最高境界 所得稅線上申報
Thumbnail
雖然AI在許多領域展現出驚人的能力,如圖像生成、語言理解、棋藝、駕駛等,但從更深層次看,AI的核心仍是模式匹配和數據組合。AI不能真正理解語意,也缺乏人類的創造力。 進一步分析了GPT等語言模型的技術原理,認為其實質上是從大量文本中學習Words組合規則,而非真正理解文本意思。這導致AI展現出諸如
Thumbnail
雖然AI在許多領域展現出驚人的能力,如圖像生成、語言理解、棋藝、駕駛等,但從更深層次看,AI的核心仍是模式匹配和數據組合。AI不能真正理解語意,也缺乏人類的創造力。 進一步分析了GPT等語言模型的技術原理,認為其實質上是從大量文本中學習Words組合規則,而非真正理解文本意思。這導致AI展現出諸如
Thumbnail
2023年才到三月為止,VC投入生成式AI的市場的估值就已經超越了前兩年的總和,可以想見整年下來絕對是一個數量級以上的差異。難道AI是這兩年才發明出來的嗎? 為什麼忽然之間全世界都在關注AI呢?  這就是我們這邊文章想要探討的,究竟AI發展到現在是否有什麼突破? 為什麼大家開始關注起AI。
Thumbnail
2023年才到三月為止,VC投入生成式AI的市場的估值就已經超越了前兩年的總和,可以想見整年下來絕對是一個數量級以上的差異。難道AI是這兩年才發明出來的嗎? 為什麼忽然之間全世界都在關注AI呢?  這就是我們這邊文章想要探討的,究竟AI發展到現在是否有什麼突破? 為什麼大家開始關注起AI。
Thumbnail
AI浪潮 自從去年ChatGPT後,AI這個本來沉寂已久的話題,瞬間火爆全世界,不論是各家各戶開始瘋狂訓練自己的大語言模型與基礎模型,包含法國的Bloom、Meta的LLaMA、AWS的Titan、Google的LaMDA等等,抑或是開始推出自己的生成式AI工具等等,例如Google的Bard、百
Thumbnail
AI浪潮 自從去年ChatGPT後,AI這個本來沉寂已久的話題,瞬間火爆全世界,不論是各家各戶開始瘋狂訓練自己的大語言模型與基礎模型,包含法國的Bloom、Meta的LLaMA、AWS的Titan、Google的LaMDA等等,抑或是開始推出自己的生成式AI工具等等,例如Google的Bard、百
Thumbnail
本文探討大資料對模型的影響。研究指出,大資料量對模型的語法和世界知識理解有顯著影響。固定運算資源下,DeepMind發現適應參數數量更重要,這使模型Chinchilla以較小規模但更多訓練資料,在實際任務中優於Gopher模型。這說明增大模型的規模已不具有太大意義,應增加訓練資料。
Thumbnail
本文探討大資料對模型的影響。研究指出,大資料量對模型的語法和世界知識理解有顯著影響。固定運算資源下,DeepMind發現適應參數數量更重要,這使模型Chinchilla以較小規模但更多訓練資料,在實際任務中優於Gopher模型。這說明增大模型的規模已不具有太大意義,應增加訓練資料。
Thumbnail
正文1,724字,主要跟你分享未來 AI 變更強更效率的兩個層面──數據與模型框架。你會從實務者的觀點,知道數據跟 AI (或機器學習模型) 表現間的關係;了解 ChatGPT 為什麼有運算資源的困擾;同時,你也會看到目前最新改善 AI 運算速度的技術發表。
Thumbnail
正文1,724字,主要跟你分享未來 AI 變更強更效率的兩個層面──數據與模型框架。你會從實務者的觀點,知道數據跟 AI (或機器學習模型) 表現間的關係;了解 ChatGPT 為什麼有運算資源的困擾;同時,你也會看到目前最新改善 AI 運算速度的技術發表。
Thumbnail
[進行中未完成] 1.簡介 本文旨在讓沒有計算機科學背景的人對ChatGPT和類似的人工智能系統 (如GPT-3、GPT-4、Bing Chat、Bard等)有一些了解。 ChatGPT是一種聊天機器人,是建立在大型語言模型之上的對話型人工智能。專業術語可能會讓人感到陌生,但此文將一一解釋這些概念。
Thumbnail
[進行中未完成] 1.簡介 本文旨在讓沒有計算機科學背景的人對ChatGPT和類似的人工智能系統 (如GPT-3、GPT-4、Bing Chat、Bard等)有一些了解。 ChatGPT是一種聊天機器人,是建立在大型語言模型之上的對話型人工智能。專業術語可能會讓人感到陌生,但此文將一一解釋這些概念。
Thumbnail
本文回答幾個問題:(一) 什麼叫做湧現;(二)湧現是什麼現象;(三)為什麼我們造不出自己的超級 AI。看完後,你會理解現在 AI 的現象跟趨勢、一些技術與專有名詞,像是參數、大型機構與他們模型的名字。
Thumbnail
本文回答幾個問題:(一) 什麼叫做湧現;(二)湧現是什麼現象;(三)為什麼我們造不出自己的超級 AI。看完後,你會理解現在 AI 的現象跟趨勢、一些技術與專有名詞,像是參數、大型機構與他們模型的名字。
Thumbnail
用了ChatGPT 一段日子後,發現最關鍵的要訣是建模。很多人抱怨說,它如何平庸、寫出來的東西如何索然無味等,其實就是你就是你給了它平庸的東西,它也只能將平庸回之於你。 但身為普通人,我們也只能喂喂它有限的資料,只要不要一直自戀地問ChatGPT自己是阿誰,提出更精準專業的問題,多利用ChatGP
Thumbnail
用了ChatGPT 一段日子後,發現最關鍵的要訣是建模。很多人抱怨說,它如何平庸、寫出來的東西如何索然無味等,其實就是你就是你給了它平庸的東西,它也只能將平庸回之於你。 但身為普通人,我們也只能喂喂它有限的資料,只要不要一直自戀地問ChatGPT自己是阿誰,提出更精準專業的問題,多利用ChatGP
Thumbnail
什麼是LLM? 根據Meta AI的文章提到,大型語言模型是具有超過 1,000 億個參數的自然語言處理(natural language processing,NLP)系統,經過大量文字訓練,能夠閱讀並回答問題或者生成新的文字。 同時LLM們,不一定只能去產新的文字,而是端看參數是什麼,如果參數的
Thumbnail
什麼是LLM? 根據Meta AI的文章提到,大型語言模型是具有超過 1,000 億個參數的自然語言處理(natural language processing,NLP)系統,經過大量文字訓練,能夠閱讀並回答問題或者生成新的文字。 同時LLM們,不一定只能去產新的文字,而是端看參數是什麼,如果參數的
Thumbnail
相信這個大家最近都有看到新聞,就是OepnAI這個基金會提出了一個新的AI模型ChatGPT,這個ChatGPT跟以往的AI模型不太一樣,基本上輸入很多問題都可以獲得解答,而且回答得語氣跟人類很像。 同時這個ChatGPT很厲害的事情,包含可以產出程式、幫助回覆程式問題、產出行銷文案、演講大綱等等,
Thumbnail
相信這個大家最近都有看到新聞,就是OepnAI這個基金會提出了一個新的AI模型ChatGPT,這個ChatGPT跟以往的AI模型不太一樣,基本上輸入很多問題都可以獲得解答,而且回答得語氣跟人類很像。 同時這個ChatGPT很厲害的事情,包含可以產出程式、幫助回覆程式問題、產出行銷文案、演講大綱等等,
追蹤感興趣的內容從 Google News 追蹤更多 vocus 的最新精選內容追蹤 Google News