拐點 #004: GPT 的推理能力

更新於 發佈於 閱讀時間約 2 分鐘

在探討大語言模型的推理能力時,讓我們以一個有趣的例子開始:棒球棒。人們可能會好奇,一根如此大的物體能否藏進人的耳朵裡。這似乎是一個顯而易見的問題,但背後的推理過程是非常值得深入探討的。

ChatGPT 是這麼回答的:

拐點:站在AI顛覆世界的前夜 (by 萬維鋼)

拐點:站在AI顛覆世界的前夜 (by 萬維鋼)


  • GPT 能夠從大量的文本數據中學習到各種物體的大小、形狀和特徵。透過這些學習,模型可以理解到棒球棒是一個相對較大的物體,一般情況下不可能被藏進人的耳朵裡。
  • GPT 能夠理解人類的生理結構和限制。它知道人的耳朵是相對小的器官,無法容納大型物品。這種對於人體結構的理解使得模型能夠推斷出棒球棒不可能被藏進人的耳朵裡。
  • GPT 能夠通過分析上下文信息來做出推理。當提到棒球棒藏進耳朵裡時,模型可以考慮到這種行為的可行性以及可能的後果,從而推斷出這是不可能的情況。
  • GPT 通常能夠理解幽默和語言遊戲,並在此基礎上進行推理。即使問題本身可能是荒謬的,模型也能夠理解其中的笑話或語言遊戲,並通過這種理解來做出推理。


什麼是涌現(Emergence)?涌現是一種當複雜系統的元素互動到一定程度時,系統表現出超越單個元素簡單相加的自組織性質的現象。以自然界為例,單個螞蟻的行為可能顯得愚蠢,但當成千上萬的螞蟻組成一個螞蟻群時,整個螞蟻群卻表現出了非常聰明的行為,例如尋找食物、建造蟻巢等。這種聰明程度遠超過了單個螞蟻的能力。

除了螞蟻以外,自然界中還有許多其他類似的涌現現象:

  1. 蜜蜂的蜂群: 當成千上萬的蜜蜂組成一個蜂群時,它們能夠展現出高度協作和組織化的行為,如尋找花蜜、建造蜂巢等。
  2. 鳥群的飛行: 單個鳥類的行為可能是基於個體的感知和反應,但當它們組成一個大群時,鳥群能夠以協調的方式飛行,形成壯觀的圖案和規律。
  3. 魚群的游動: 大量的魚類在水中形成組織化的群體,它們能夠以協調的方式游動,避免掠食者和尋找食物。
  4. 細菌的生物膜: 單個細菌細胞的行為可能是簡單的,但當它們聚集在一起形成生物膜時,它們能夠表現出複雜的結構和功能,如抗生素抵抗性等。

GPT背後的大語言模型包含了龐大的參數和知識庫,能夠進行自然語言理解、生成和推理等任務。儘管語言模型的組成部分是簡單的,例如單個神經元或單詞,但當這些元素組合在一起時,模型卻能夠展現出非凡的能力。GPT學會了語言的結構、語義和語境,從中學習到各種知識和模式。當模型面對新的文本時,它能夠通過結合這些知識和模式來進行理解、生成和推理,產生出令人驚嘆的結果。

在這個過程中,GPT所表現出的能力超越了單個參數或單個文本的簡單相加。它的能力是由數億個參數和大量的訓練數據共同作用的結果,這就是涌現的神奇之處。

讓我們讚嘆一句 「Ghost in the Shell

內容總結
拐點
5
/5
avatar-img
5會員
240內容數
歡迎來到「Will 進步本」!我們將探索計算機科學、商用英文和生成式AI。從基礎到前沿,共同學習和交流,拓展知識視野,啟發創新思維
留言0
查看全部
avatar-img
發表第一個留言支持創作者!
Will 進步本 的其他內容
在機器學習領域中,監督學習、無監督學習和強化學習是三種核心方法,它們在解決不同類型的問題時發揮著重要作用。
5/5拐點
在人工智能的發展歷程中,早期的研究主要側重於將解決問題的規則輸入計算機,試圖通過啟蒙運動理性的思路模擬人類的智能行為。然而,這條路逐漸變得艱難,因為規則過於繁多,無法應對複雜的情境和語境。在這個背景下,一些科學家轉向了神經網絡算法,試圖模擬人腦的感知能力。
5/5拐點
我們對AI的認識往往停留在其自動執行任務和模仿人類思維的層面上。但深入探索後,發現AI真正的價值和獨特之處在於其他方面。
5/5拐點
人要比AI兇
在機器學習領域中,監督學習、無監督學習和強化學習是三種核心方法,它們在解決不同類型的問題時發揮著重要作用。
5/5拐點
在人工智能的發展歷程中,早期的研究主要側重於將解決問題的規則輸入計算機,試圖通過啟蒙運動理性的思路模擬人類的智能行為。然而,這條路逐漸變得艱難,因為規則過於繁多,無法應對複雜的情境和語境。在這個背景下,一些科學家轉向了神經網絡算法,試圖模擬人腦的感知能力。
5/5拐點
我們對AI的認識往往停留在其自動執行任務和模仿人類思維的層面上。但深入探索後,發現AI真正的價值和獨特之處在於其他方面。
5/5拐點
人要比AI兇
你可能也想看
Google News 追蹤
Thumbnail
隨著理財資訊的普及,越來越多台灣人不再將資產侷限於台股,而是將視野拓展到國際市場。特別是美國市場,其豐富的理財選擇,讓不少人開始思考將資金配置於海外市場的可能性。 然而,要參與美國市場並不只是盲目跟隨標的這麼簡單,而是需要策略和方式,尤其對新手而言,除了選股以外還會遇到語言、開戶流程、Ap
Thumbnail
嘿,大家新年快樂~ 新年大家都在做什麼呢? 跨年夜的我趕工製作某個外包設計案,在工作告一段落時趕上倒數。 然後和兩個小孩過了一個忙亂的元旦。在深夜時刻,看到朋友傳來的解籤網站,興致勃勃熬夜體驗了一下,覺得非常好玩,或許有人玩過了,但還是想寫上來分享紀錄一下~
https://www.youtube.com/watch?v=wjZofJX0v4M 這是我看過最好的AI科普影片了;現在流行的GPT使用的大語言模型 (large language model, LLM), 是把每一個單字都當作一個高維度向量 影片中GPT3共儲存50257個英文單字, 每
Thumbnail
ChatGPT(全名:聊天生成預訓練轉換器)是一個由 OpenAI 開發的人工智慧聊天機器人程式。它於 2022 年 11 月推出,使用了基於 GPT-3.5、GPT-4 和 GPT-4o 架構的大型語言模型,並以強化學習進行訓練。
回顧我們的目標是自己做一個免錢Chat GPT 自己做免錢Chat GPT吧 當中,我希望外掛一個外部知識庫,叫做RAG,來提升整體問答的品質,同時又能避免機敏資訊被Chat GPT竊取。 緣由參見 ChatGPT回答不是你要的怎麼辦? 詳細實作於 使用Meta釋出的模型,實作Chat G
延續使用Meta釋出的模型,實作Chat GPT - Part 4,我們現在遇到一個問題:語言模型回答的資訊不是我想要的。 於是我參照ChatGPT回答不是你要的怎麼辦?,想使用低成本的技術:RAG,來改善這問題。 以下開始實作,首先引入一個重量級工具包,它叫做LangChain,這是做語言模型
Thumbnail
包括職業棒球隊、社會棒球隊,再到高中黑豹旗棒球比賽,我們知道一年會有超過200支球隊參與棒球比賽爭取最高榮譽。然而身為棒球迷,我們經常會看到球員在訓練與比賽時將球棒打斷,而這些斷棒都被丟棄了嗎?還是有重新再獲得利用的機會呢?於是,我開啟了一連串的研究與實驗...
Thumbnail
把手握緊,裡面什麼都沒有,把手放開,擁有的就是一切>臥虎藏龍 你可以在家了解世間萬物,但追朔根源的唯一方法就是親身嘗試>心靈捕手 生活就像一盒巧克力,我們永遠不知道下一顆是什麼味道>阿甘正傳 世人笑我太瘋癲,我笑他人看不穿>唐伯虎點秋香 有時贏錢不一定開心,打對了牌才有滿足感>嚦咕嚦咕新年
Thumbnail
從第一次使用到現在,使用GPT近一年的經驗分享。介紹在使用GPT時的困難、挑戰及學習到的技巧,以及如何讓GPT更好地理解所需內容。
Thumbnail
這陣子使用AI模型,還有參考國內外一些喜歡玩語言模型的同好發文,一個很有趣的結論就是,有時候把大型語言模型(尤其ChatGPT)當作一個人來溝通,會得到比較好的結果,這的確是非常反直覺的,也就是說很多時候ChatGPT耍懶不肯工作的時候,你用加油打氣,或是情緒勒索的方法,確實是可以得到比較好的結果。
Thumbnail
本文介紹「思維鏈」(Chain of Thought,CoT)的提問技巧,探討其如何影響ChatGPT等生成式AI工具的表現。由於「思維鏈」能使機器人模仿人類推理的過程,因此,建議在使用大型語言模型進行提示工程時加入類似「讓我們循序思考」等提示詞,以提高多步驟問題的解決能力。
Thumbnail
隨著理財資訊的普及,越來越多台灣人不再將資產侷限於台股,而是將視野拓展到國際市場。特別是美國市場,其豐富的理財選擇,讓不少人開始思考將資金配置於海外市場的可能性。 然而,要參與美國市場並不只是盲目跟隨標的這麼簡單,而是需要策略和方式,尤其對新手而言,除了選股以外還會遇到語言、開戶流程、Ap
Thumbnail
嘿,大家新年快樂~ 新年大家都在做什麼呢? 跨年夜的我趕工製作某個外包設計案,在工作告一段落時趕上倒數。 然後和兩個小孩過了一個忙亂的元旦。在深夜時刻,看到朋友傳來的解籤網站,興致勃勃熬夜體驗了一下,覺得非常好玩,或許有人玩過了,但還是想寫上來分享紀錄一下~
https://www.youtube.com/watch?v=wjZofJX0v4M 這是我看過最好的AI科普影片了;現在流行的GPT使用的大語言模型 (large language model, LLM), 是把每一個單字都當作一個高維度向量 影片中GPT3共儲存50257個英文單字, 每
Thumbnail
ChatGPT(全名:聊天生成預訓練轉換器)是一個由 OpenAI 開發的人工智慧聊天機器人程式。它於 2022 年 11 月推出,使用了基於 GPT-3.5、GPT-4 和 GPT-4o 架構的大型語言模型,並以強化學習進行訓練。
回顧我們的目標是自己做一個免錢Chat GPT 自己做免錢Chat GPT吧 當中,我希望外掛一個外部知識庫,叫做RAG,來提升整體問答的品質,同時又能避免機敏資訊被Chat GPT竊取。 緣由參見 ChatGPT回答不是你要的怎麼辦? 詳細實作於 使用Meta釋出的模型,實作Chat G
延續使用Meta釋出的模型,實作Chat GPT - Part 4,我們現在遇到一個問題:語言模型回答的資訊不是我想要的。 於是我參照ChatGPT回答不是你要的怎麼辦?,想使用低成本的技術:RAG,來改善這問題。 以下開始實作,首先引入一個重量級工具包,它叫做LangChain,這是做語言模型
Thumbnail
包括職業棒球隊、社會棒球隊,再到高中黑豹旗棒球比賽,我們知道一年會有超過200支球隊參與棒球比賽爭取最高榮譽。然而身為棒球迷,我們經常會看到球員在訓練與比賽時將球棒打斷,而這些斷棒都被丟棄了嗎?還是有重新再獲得利用的機會呢?於是,我開啟了一連串的研究與實驗...
Thumbnail
把手握緊,裡面什麼都沒有,把手放開,擁有的就是一切>臥虎藏龍 你可以在家了解世間萬物,但追朔根源的唯一方法就是親身嘗試>心靈捕手 生活就像一盒巧克力,我們永遠不知道下一顆是什麼味道>阿甘正傳 世人笑我太瘋癲,我笑他人看不穿>唐伯虎點秋香 有時贏錢不一定開心,打對了牌才有滿足感>嚦咕嚦咕新年
Thumbnail
從第一次使用到現在,使用GPT近一年的經驗分享。介紹在使用GPT時的困難、挑戰及學習到的技巧,以及如何讓GPT更好地理解所需內容。
Thumbnail
這陣子使用AI模型,還有參考國內外一些喜歡玩語言模型的同好發文,一個很有趣的結論就是,有時候把大型語言模型(尤其ChatGPT)當作一個人來溝通,會得到比較好的結果,這的確是非常反直覺的,也就是說很多時候ChatGPT耍懶不肯工作的時候,你用加油打氣,或是情緒勒索的方法,確實是可以得到比較好的結果。
Thumbnail
本文介紹「思維鏈」(Chain of Thought,CoT)的提問技巧,探討其如何影響ChatGPT等生成式AI工具的表現。由於「思維鏈」能使機器人模仿人類推理的過程,因此,建議在使用大型語言模型進行提示工程時加入類似「讓我們循序思考」等提示詞,以提高多步驟問題的解決能力。