Meta研究員Martin Signoux所述的大型多模態模型（LMM）將是2024後醫學研究的主流趨勢

今天分享長期觀察 AI 議題的 Martin Signoux 對2024年AI技術領域的觀點。他認為「大型語言模型」未來將不具備任何優勢，未來發展是「大型多模態模型」，而且在2024年的議題量將會超越「大型語言模型」，此觀點也受到楊立昆（Yann LeCuu）的認同。

楊立昆（Yann LeCuu）是一名法國計算機科學家，2018年圖靈獎得主，他在AI領域有很多貢獻。最著名的工作是在光學字符識別和計算機視覺上使用卷積神經網絡，也被稱為卷積網絡之父。

圖片來源：楊立昆 X (Twitter)

Martin Signoux 的觀點

Martin Signoux專注在AI政策和負責任的AI、沉浸式技術和元宇宙、數字服務的監管和治理，以及數位市場中的競爭規則的科技政策。所學背景主要是國際法，也是歐洲與亞洲事務碩士。目前在Meta France的公共政策主管。

在去年年底時，他發了一篇文章有關於大型語言模型（Large Language Model, LLM）的未來。

1. 他直言在不久的未來「大型語言模型」將不再具備優勢，相反的「大型多模態模型」（Large MultiModel, LMM）將會興起。因此，多模態模型的安全與諸多議題將會取代大型語言模型。
2. 此外，他也認為大型多模態模型才是邁向真正通用人工智慧助理的基石。

圖片來源：Martin Signoux X（Twittwe））

M-Insight

大型多模態模型將讓模型能處理「影像、文字與數據」，滿足醫藥生技領域研發的需求

在計算機的世界，模態（modal）指的是事情經過與發生的方式。我們周遭不只視覺與文字，還有聽覺、嗅覺等資訊。所以我們生活的環境是由多元模態資訊所建構的世界。

以醫學生技領域來說，醫生看診的日常，包含了望（視覺）聞（嗅覺）問（語音）切（決策），所以人工智慧應用在醫學上，本質就是一種多模態現象。因此，AI界開始思考多模態問題，是讓人工智慧能夠全面應用在我們周遭世界的重要關鍵。

多模態的學習包含影像、聲音與文字，經過學習訓練後，最後產生對目標事件的預測。

多模態訓練概念圖

當然，僅管實際的大型多模態模型技術已經不遠，但是距離應用還是在想像情境。因此，不難預測未來的AI在醫藥生技上的研究，大型多模態模型技術應用於醫藥生技的研究極具發揮空間。

歡迎各領域研究者，共同合作研究：

https://www.facebook.com/akousist

https://line.me/R/ti/p/@875lzikp