拐點 #004: GPT 的推理能力

更新於 發佈於 閱讀時間約 2 分鐘

在探討大語言模型的推理能力時,讓我們以一個有趣的例子開始:棒球棒。人們可能會好奇,一根如此大的物體能否藏進人的耳朵裡。這似乎是一個顯而易見的問題,但背後的推理過程是非常值得深入探討的。

ChatGPT 是這麼回答的:

拐點:站在AI顛覆世界的前夜 (by 萬維鋼)

拐點:站在AI顛覆世界的前夜 (by 萬維鋼)


  • GPT 能夠從大量的文本數據中學習到各種物體的大小、形狀和特徵。透過這些學習,模型可以理解到棒球棒是一個相對較大的物體,一般情況下不可能被藏進人的耳朵裡。
  • GPT 能夠理解人類的生理結構和限制。它知道人的耳朵是相對小的器官,無法容納大型物品。這種對於人體結構的理解使得模型能夠推斷出棒球棒不可能被藏進人的耳朵裡。
  • GPT 能夠通過分析上下文信息來做出推理。當提到棒球棒藏進耳朵裡時,模型可以考慮到這種行為的可行性以及可能的後果,從而推斷出這是不可能的情況。
  • GPT 通常能夠理解幽默和語言遊戲,並在此基礎上進行推理。即使問題本身可能是荒謬的,模型也能夠理解其中的笑話或語言遊戲,並通過這種理解來做出推理。


什麼是涌現(Emergence)?涌現是一種當複雜系統的元素互動到一定程度時,系統表現出超越單個元素簡單相加的自組織性質的現象。以自然界為例,單個螞蟻的行為可能顯得愚蠢,但當成千上萬的螞蟻組成一個螞蟻群時,整個螞蟻群卻表現出了非常聰明的行為,例如尋找食物、建造蟻巢等。這種聰明程度遠超過了單個螞蟻的能力。

除了螞蟻以外,自然界中還有許多其他類似的涌現現象:

  1. 蜜蜂的蜂群: 當成千上萬的蜜蜂組成一個蜂群時,它們能夠展現出高度協作和組織化的行為,如尋找花蜜、建造蜂巢等。
  2. 鳥群的飛行: 單個鳥類的行為可能是基於個體的感知和反應,但當它們組成一個大群時,鳥群能夠以協調的方式飛行,形成壯觀的圖案和規律。
  3. 魚群的游動: 大量的魚類在水中形成組織化的群體,它們能夠以協調的方式游動,避免掠食者和尋找食物。
  4. 細菌的生物膜: 單個細菌細胞的行為可能是簡單的,但當它們聚集在一起形成生物膜時,它們能夠表現出複雜的結構和功能,如抗生素抵抗性等。

GPT背後的大語言模型包含了龐大的參數和知識庫,能夠進行自然語言理解、生成和推理等任務。儘管語言模型的組成部分是簡單的,例如單個神經元或單詞,但當這些元素組合在一起時,模型卻能夠展現出非凡的能力。GPT學會了語言的結構、語義和語境,從中學習到各種知識和模式。當模型面對新的文本時,它能夠通過結合這些知識和模式來進行理解、生成和推理,產生出令人驚嘆的結果。

在這個過程中,GPT所表現出的能力超越了單個參數或單個文本的簡單相加。它的能力是由數億個參數和大量的訓練數據共同作用的結果,這就是涌現的神奇之處。

讓我們讚嘆一句 「Ghost in the Shell

留言
avatar-img
留言分享你的想法!
avatar-img
Will 進步本
5會員
240內容數
歡迎來到「Will 進步本」!我們將探索計算機科學、商用英文和生成式AI。從基礎到前沿,共同學習和交流,拓展知識視野,啟發創新思維
Will 進步本的其他內容
2024/09/25
隨著人工智能(AI)的飛速發展,研究人員不斷尋求最佳途徑來實現更加智能化的系統。無論是在遊戲、語言處理還是機器視覺領域,人工智能系統的性能有了顯著提升。然而,在這一進程中,一些關鍵的問題也浮現出來:AI應該依賴於人類設計的專家知識還是依賴於數據和計算能力的自我學習? 這個問題的答案可以
Thumbnail
2024/09/25
隨著人工智能(AI)的飛速發展,研究人員不斷尋求最佳途徑來實現更加智能化的系統。無論是在遊戲、語言處理還是機器視覺領域,人工智能系統的性能有了顯著提升。然而,在這一進程中,一些關鍵的問題也浮現出來:AI應該依賴於人類設計的專家知識還是依賴於數據和計算能力的自我學習? 這個問題的答案可以
Thumbnail
2024/09/16
source: 精英日課 赫拉利在他的新書中強調,他撰寫這本書的主要目的,是希望人類能夠通過做出明智的選擇,來避免最糟糕的結果。他進一步解釋:「歷史的研究重點並非‘過去’,而是‘變化’。歷史能告訴我們,什麼是恆常不變的,什麼是正在改變的,以及變革是如何發生的。」比如,我們回顧工業革命的歷史,不僅是
2024/09/16
source: 精英日課 赫拉利在他的新書中強調,他撰寫這本書的主要目的,是希望人類能夠通過做出明智的選擇,來避免最糟糕的結果。他進一步解釋:「歷史的研究重點並非‘過去’,而是‘變化’。歷史能告訴我們,什麼是恆常不變的,什麼是正在改變的,以及變革是如何發生的。」比如,我們回顧工業革命的歷史,不僅是
2024/09/09
在Yuval Noah Harari的新書中,他深入探討了為什麼帶有虛構元素的信息比純粹的真相更容易獲得人們的認可與共鳴,並且往往傳播得更快。Harari提出了兩個關鍵的理由,幫助我們理解這一現象。 1. 虛構信息的簡單性與人類心理需求 Harari的第一個觀點是,虛構的信息往往更簡單直接,
Thumbnail
2024/09/09
在Yuval Noah Harari的新書中,他深入探討了為什麼帶有虛構元素的信息比純粹的真相更容易獲得人們的認可與共鳴,並且往往傳播得更快。Harari提出了兩個關鍵的理由,幫助我們理解這一現象。 1. 虛構信息的簡單性與人類心理需求 Harari的第一個觀點是,虛構的信息往往更簡單直接,
Thumbnail
看更多
你可能也想看
Thumbnail
每年4月、5月都是最多稅要繳的月份,當然大部份的人都是有機會繳到「綜合所得稅」,只是相當相當多人還不知道,原來繳給政府的稅!可以透過一些有活動的銀行信用卡或電子支付來繳,從繳費中賺一點點小確幸!就是賺個1%~2%大家也是很開心的,因為你們把沒回饋變成有回饋,就是用卡的最高境界 所得稅線上申報
Thumbnail
每年4月、5月都是最多稅要繳的月份,當然大部份的人都是有機會繳到「綜合所得稅」,只是相當相當多人還不知道,原來繳給政府的稅!可以透過一些有活動的銀行信用卡或電子支付來繳,從繳費中賺一點點小確幸!就是賺個1%~2%大家也是很開心的,因為你們把沒回饋變成有回饋,就是用卡的最高境界 所得稅線上申報
Thumbnail
橘色那一段話就是我故事裡有霸凌毆打等字言所以他警告說這違反了GPT的使用條款 我打完內容都會丟給GPT說其他交給你想,他就會開始幫我思考故事,他會依照我打的內容然後以他想要用什麼樣的形式去寫去呈現他想要的故事。
Thumbnail
橘色那一段話就是我故事裡有霸凌毆打等字言所以他警告說這違反了GPT的使用條款 我打完內容都會丟給GPT說其他交給你想,他就會開始幫我思考故事,他會依照我打的內容然後以他想要用什麼樣的形式去寫去呈現他想要的故事。
Thumbnail
因為網路上充斥著 是是而非的資訊,公說公有理 婆說婆有理,我發現我的價值觀開始有點混淆,心中有許多問題 不知道真正的答案是甚麼?突然 想到最近的AI新科技-ChatGPT 或許可以解答我內心的困惑。所以我試著與ChatGPT進行對話,沒想到ChatGPT 的回覆 完全可以解答我心中的疑惑。
Thumbnail
因為網路上充斥著 是是而非的資訊,公說公有理 婆說婆有理,我發現我的價值觀開始有點混淆,心中有許多問題 不知道真正的答案是甚麼?突然 想到最近的AI新科技-ChatGPT 或許可以解答我內心的困惑。所以我試著與ChatGPT進行對話,沒想到ChatGPT 的回覆 完全可以解答我心中的疑惑。
Thumbnail
為了充分發揮AI的潛力,我們必須深入瞭解其運作模式和思考邏輯,並學會與AI對話的技巧。《ChatGPT提問課,做個懂AI的高效工作者》這本書提供了豐富的實例,讓讀者更容易學會如何提出精準的問題,並享有提問課程的閱讀回饋。這對於想成為懂AI的高效工作者的人來說,是一本值得一看的書。
Thumbnail
為了充分發揮AI的潛力,我們必須深入瞭解其運作模式和思考邏輯,並學會與AI對話的技巧。《ChatGPT提問課,做個懂AI的高效工作者》這本書提供了豐富的實例,讓讀者更容易學會如何提出精準的問題,並享有提問課程的閱讀回饋。這對於想成為懂AI的高效工作者的人來說,是一本值得一看的書。
Thumbnail
ChatGPT(全名:聊天生成預訓練轉換器)是一個由 OpenAI 開發的人工智慧聊天機器人程式。它於 2022 年 11 月推出,使用了基於 GPT-3.5、GPT-4 和 GPT-4o 架構的大型語言模型,並以強化學習進行訓練。
Thumbnail
ChatGPT(全名:聊天生成預訓練轉換器)是一個由 OpenAI 開發的人工智慧聊天機器人程式。它於 2022 年 11 月推出,使用了基於 GPT-3.5、GPT-4 和 GPT-4o 架構的大型語言模型,並以強化學習進行訓練。
Thumbnail
人們可能會好奇,一根棒球棒能否藏進人的耳朵裡。這似乎是一個顯而易見的問題,但背後的推理過程是非常值得深入探討的。ChatGPT 是這麼回答的...
Thumbnail
人們可能會好奇,一根棒球棒能否藏進人的耳朵裡。這似乎是一個顯而易見的問題,但背後的推理過程是非常值得深入探討的。ChatGPT 是這麼回答的...
Thumbnail
筆記-曲博談AI模型.群聯-24.05.05 https://www.youtube.com/watch?v=JHE88hwx4b0&t=2034s *大型語言模型 三個步驟: 1.預訓練,訓練一次要用幾萬顆處理器、訓練時間要1個月,ChatGPT訓練一次的成本為1000萬美金。 2.微調(
Thumbnail
筆記-曲博談AI模型.群聯-24.05.05 https://www.youtube.com/watch?v=JHE88hwx4b0&t=2034s *大型語言模型 三個步驟: 1.預訓練,訓練一次要用幾萬顆處理器、訓練時間要1個月,ChatGPT訓練一次的成本為1000萬美金。 2.微調(
Thumbnail
從第一次使用到現在,使用GPT近一年的經驗分享。介紹在使用GPT時的困難、挑戰及學習到的技巧,以及如何讓GPT更好地理解所需內容。
Thumbnail
從第一次使用到現在,使用GPT近一年的經驗分享。介紹在使用GPT時的困難、挑戰及學習到的技巧,以及如何讓GPT更好地理解所需內容。
追蹤感興趣的內容從 Google News 追蹤更多 vocus 的最新精選內容追蹤 Google News