Meta研究員Martin Signoux所述的大型多模態模型(LMM)將是2024後醫學研究的主流趨勢

閱讀時間約 2 分鐘

今天分享長期觀察 AI 議題的 Martin Signoux 對2024年AI技術領域的觀點。他認為「大型語言模型」未來將不具備任何優勢,未來發展是「大型多模態模型」,而且在2024年的議題量將會超越「大型語言模型」,此觀點也受到楊立昆(Yann LeCuu)的認同。

楊立昆(Yann LeCuu)是一名法國計算機科學家,2018年圖靈獎得主,他在AI領域有很多貢獻。最著名的工作是在光學字符識別和計算機視覺上使用卷積神經網絡,也被稱為卷積網絡之父。
圖片來源:楊立昆 X (Twitter)

圖片來源:楊立昆 X (Twitter)


Martin Signoux 的觀點

Martin Signoux專注在AI政策和負責任的AI、沉浸式技術和元宇宙、數字服務的監管和治理,以及數位市場中的競爭規則的科技政策。所學背景主要是國際法,也是歐洲與亞洲事務碩士。目前在Meta France的公共政策主管。

在去年年底時,他發了一篇文章有關於大型語言模型(Large Language Model, LLM)的未來。

  1. 他直言在不久的未來「大型語言模型」將不再具備優勢,相反的「大型多模態模型」(Large MultiModel, LMM)將會興起。因此,多模態模型的安全與諸多議題將會取代大型語言模型。
  2. 此外,他也認為大型多模態模型才是邁向真正通用人工智慧助理的基石。
圖片來源:Martin Signoux X(Twittwe))

圖片來源:Martin Signoux X(Twittwe))


M-Insight

大型多模態模型將讓模型能處理「影像、文字與數據」,滿足醫藥生技領域研發的需求

在計算機的世界,模態(modal)指的是事情經過與發生的方式。我們周遭不只視覺與文字,還有聽覺、嗅覺等資訊。所以我們生活的環境是由多元模態資訊所建構的世界。

以醫學生技領域來說,醫生看診的日常,包含了望(視覺)聞(嗅覺)問(語音)切(決策),所以人工智慧應用在醫學上,本質就是一種多模態現象。因此,AI界開始思考多模態問題,是讓人工智慧能夠全面應用在我們周遭世界的重要關鍵。

多模態的學習包含影像、聲音與文字,經過學習訓練後,最後產生對目標事件的預測。

多模態訓練概念圖

多模態訓練概念圖

當然,僅管實際的大型多模態模型技術已經不遠,但是距離應用還是在想像情境。因此,不難預測未來的AI在醫藥生技上的研究,大型多模態模型技術應用於醫藥生技的研究極具發揮空間。


歡迎各領域研究者,共同合作研究

https://www.facebook.com/akousist

https://line.me/R/ti/p/@875lzikp


M-Insight : AI科技創新 分享有關人工智慧對於產業與企業的實務應用、研究成果、產業情報等資訊,歡迎人工智慧、醫藥生技、科技管理領域的同好、專家學者、醫師、研究人員與業界朋友一同參與交流。
留言0
查看全部
avatar-img
發表第一個留言支持創作者!
根據美國FDA的數據顯示,2023年的申請量是歷年最大,放射學領域是AI/ML-SaMD的醫材設備申請數持續穩定成長的科別。AI/ML-SaMD的醫材設備通過量預計將成長30%以上。放射科領域佔全部通過量的76%,估計2023年也將保持居冠。
根據美國FDA的數據顯示,2023年的申請量是歷年最大,放射學領域是AI/ML-SaMD的醫材設備申請數持續穩定成長的科別。AI/ML-SaMD的醫材設備通過量預計將成長30%以上。放射科領域佔全部通過量的76%,估計2023年也將保持居冠。
本篇參與的主題活動
這是一篇評測Hyread Gaze Mini+閱讀器的文章,內容包含硬體規格、使用體驗與品管售後服務等,作者分享了他對這款閱讀器的評價與使用心得。
先前麥克買了在預算及性能方面都十分複合需求的NXTPAPER 11平板,但拿到辦公室使用後便發現因為時不時有簡報需求,主機本身不支援有線視訊輸出實在是非常不方便,因又開始尋找新歡。最終麥克選擇了算是還滿熟悉的品牌小米旗下的小米平板6,以下為麥克這一個月下來的使用心得。
從預計的十月底出貨經過重重波折,Pubu自家開發的10寸彩色閱讀器Pubook Pro終於是送到第一批集資者手中了。究竟這台閱讀器有沒有本事撼動目前的電子紙閱讀器市場?有達到集資時承諾的各項功能嗎?且讓身為首批集資者之一的麥克跟大家談談收到主機後使用數天的感想。
Steam Deck 迎來大改版,最重要的更新就是換成 OLED 螢幕。使用 OLED 螢幕帶來更好看的顏色,大小還小幅提升到 7.4 吋。關係續航力的電池也從 40 瓦小時升級到 50 瓦小時, 3A 大作都可以多玩一小時呢!這麼香的更新,怎麼不給他買下去呢 😄
這是一篇評測Hyread Gaze Mini+閱讀器的文章,內容包含硬體規格、使用體驗與品管售後服務等,作者分享了他對這款閱讀器的評價與使用心得。
先前麥克買了在預算及性能方面都十分複合需求的NXTPAPER 11平板,但拿到辦公室使用後便發現因為時不時有簡報需求,主機本身不支援有線視訊輸出實在是非常不方便,因又開始尋找新歡。最終麥克選擇了算是還滿熟悉的品牌小米旗下的小米平板6,以下為麥克這一個月下來的使用心得。
從預計的十月底出貨經過重重波折,Pubu自家開發的10寸彩色閱讀器Pubook Pro終於是送到第一批集資者手中了。究竟這台閱讀器有沒有本事撼動目前的電子紙閱讀器市場?有達到集資時承諾的各項功能嗎?且讓身為首批集資者之一的麥克跟大家談談收到主機後使用數天的感想。
Steam Deck 迎來大改版,最重要的更新就是換成 OLED 螢幕。使用 OLED 螢幕帶來更好看的顏色,大小還小幅提升到 7.4 吋。關係續航力的電池也從 40 瓦小時升級到 50 瓦小時, 3A 大作都可以多玩一小時呢!這麼香的更新,怎麼不給他買下去呢 😄
你可能也想看
Google News 追蹤
其實,每篇論文的貢獻,絕對都是站在前人的努力上的。就像現在的AI,名稱是大語言模型,再更早以前叫做編碼器-解碼器循環神經網絡,再更早以前還有別的名字。「你需要去了解,2024你看到的論文,在歷史上是怎麼一步一步長出來的。」你要去找到源頭的問題,去觀察不同時代大家如何解問題,你才會知道解決方案。
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 我們已經在AI說書 - 從0開始 - 16走過了部分AI發展軌跡,接著繼續: 在1980年代Yann LeCun設計了Convolutional Neural N
Thumbnail
預計量子AI計算會在2032年左右來到,在這之前,我們還有充足的時間可以逐步去學習量子計算與演算法,讓我們按部就班,持續前進,做輕鬆無負擔的超前學習 !
Thumbnail
在AI時代中,GPT技術正在改變我們的生活。然而,SLM(小型語言模型)也開始受到關注,具有更高的效率、更低的資源消耗和更快的響應速度。這篇文章將討論LLM和SLM的比較、SLM的應用場景以及未來的發展趨勢。
Thumbnail
圖靈獎得主、Meta 首席AI 科學家楊立昆(Yann LeCunn)近日與全球首富的馬斯克(Elon Musk)空中吵架,起因是馬斯克在 X 平台招募 xAI 人才,楊立昆留言諷刺,但一來一往唇槍舌戰後,意外開啟最新戰火。 馬斯克 X 反問「過去五年你做了哪些研究?」楊立昆回應「從 2022 年
大語言模型是一種特殊的神經網路,設計來理解,生成與回應人類的文本。 大語言模型是使用大量文本數據訓練的深度神經網路,其訓練使用的文本數據甚至包括了整個網路公開的文本。 大語言模型的「大」,體現於模型的參數個數以及其使用的訓練數據集。如此大的模型可以有百億甚至千億的參數。這些參數都是神經網
Thumbnail
大型語言模型(Large Language Model,LLM)是一項人工智慧技術,其目的在於理解和生成人類語言,可將其想像成一種高階的「文字預測機器」,然而,它們並非真正理解語言。除了在上篇介紹的技巧可以協助我們在使用 LLM 時給予指示之外,今天我們會介紹使用 LLM 的框架。
Thumbnail
大型語言模型(LLM)是基於深度學習的自然語言處理模型,而多模態模型(LMM)能處理多種資料型態。這些模型將對未來帶來重大改變。LLM 專注於理解和生成自然語言,LMM 能夠處理跨模態的內容,並整合多種資料的能力,有望成為未來趨勢。
Thumbnail
大語言模型(LLMs)對於任何對人工智能和自然語言處理感興趣的人來說都是一個令人興奮的領域。 這類模型,如GPT-4, 透過其龐大的數據集和複雜的參數設置, 提供了前所未有的語言理解和生成能力。 那麼,究竟是什麼讓這些模型「大」得如此不同呢?
Thumbnail
對於熱衷於語言科技的你, 大語言模型(LLMs)在自然語言處理(NLP)領域的發展無疑是一個革命性的進展。 從傳統的規則系統到基於深度學習的方法, LLMs展現了在理解、生成和翻譯人類語言方面的巨大突破。 這不僅是技術上的飛躍, 更是開啟了新的應用和可能性。 下面將介紹這一變革帶來的三大
其實,每篇論文的貢獻,絕對都是站在前人的努力上的。就像現在的AI,名稱是大語言模型,再更早以前叫做編碼器-解碼器循環神經網絡,再更早以前還有別的名字。「你需要去了解,2024你看到的論文,在歷史上是怎麼一步一步長出來的。」你要去找到源頭的問題,去觀察不同時代大家如何解問題,你才會知道解決方案。
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 我們已經在AI說書 - 從0開始 - 16走過了部分AI發展軌跡,接著繼續: 在1980年代Yann LeCun設計了Convolutional Neural N
Thumbnail
預計量子AI計算會在2032年左右來到,在這之前,我們還有充足的時間可以逐步去學習量子計算與演算法,讓我們按部就班,持續前進,做輕鬆無負擔的超前學習 !
Thumbnail
在AI時代中,GPT技術正在改變我們的生活。然而,SLM(小型語言模型)也開始受到關注,具有更高的效率、更低的資源消耗和更快的響應速度。這篇文章將討論LLM和SLM的比較、SLM的應用場景以及未來的發展趨勢。
Thumbnail
圖靈獎得主、Meta 首席AI 科學家楊立昆(Yann LeCunn)近日與全球首富的馬斯克(Elon Musk)空中吵架,起因是馬斯克在 X 平台招募 xAI 人才,楊立昆留言諷刺,但一來一往唇槍舌戰後,意外開啟最新戰火。 馬斯克 X 反問「過去五年你做了哪些研究?」楊立昆回應「從 2022 年
大語言模型是一種特殊的神經網路,設計來理解,生成與回應人類的文本。 大語言模型是使用大量文本數據訓練的深度神經網路,其訓練使用的文本數據甚至包括了整個網路公開的文本。 大語言模型的「大」,體現於模型的參數個數以及其使用的訓練數據集。如此大的模型可以有百億甚至千億的參數。這些參數都是神經網
Thumbnail
大型語言模型(Large Language Model,LLM)是一項人工智慧技術,其目的在於理解和生成人類語言,可將其想像成一種高階的「文字預測機器」,然而,它們並非真正理解語言。除了在上篇介紹的技巧可以協助我們在使用 LLM 時給予指示之外,今天我們會介紹使用 LLM 的框架。
Thumbnail
大型語言模型(LLM)是基於深度學習的自然語言處理模型,而多模態模型(LMM)能處理多種資料型態。這些模型將對未來帶來重大改變。LLM 專注於理解和生成自然語言,LMM 能夠處理跨模態的內容,並整合多種資料的能力,有望成為未來趨勢。
Thumbnail
大語言模型(LLMs)對於任何對人工智能和自然語言處理感興趣的人來說都是一個令人興奮的領域。 這類模型,如GPT-4, 透過其龐大的數據集和複雜的參數設置, 提供了前所未有的語言理解和生成能力。 那麼,究竟是什麼讓這些模型「大」得如此不同呢?
Thumbnail
對於熱衷於語言科技的你, 大語言模型(LLMs)在自然語言處理(NLP)領域的發展無疑是一個革命性的進展。 從傳統的規則系統到基於深度學習的方法, LLMs展現了在理解、生成和翻譯人類語言方面的巨大突破。 這不僅是技術上的飛躍, 更是開啟了新的應用和可能性。 下面將介紹這一變革帶來的三大