Multimodal Machine Translation（多模態機器翻譯，MMT）是一種結合多種模態信息（例如文本、圖像、語音等）來提升機器翻譯質量的技術。傳統機器翻譯多依賴純文字，而多模態機器翻譯則利用與文本相關的視覺、語音信息，增強語義理解和上下文判斷。
Multimodal Machine Translation 的主要特點：
• 多信息融合：除文字外，模型還會引入與文本相關的圖像或語音特徵，通過融合多模態數據來幫助理解句意，解決文本中詞義模糊或歧義問題。• 多模態 Transformer 架構：通常基於 Transformer 架構，加入跨模態注意力（cross-attention）等機制實現圖像與文本的相互影響。
• 提升翻譯準確率與流暢度：模態間的互補信息有助於生成更貼切上下文及文化背景的目標語句。
應用場景與研究重點：
• 圖像說明文本的跨語言翻譯，例如旅遊圖片配文翻譯、多語種社交媒體內容翻譯。
• 聲音和語言融合，改善口語或方言的理解與翻譯。
• 解決純文字翻譯中遇到的詞義不明、上下文資訊不足等問題。
簡單比喻：
多模態機器翻譯就像同時看圖片和聽講解來理解一段話，更全面、準確地翻譯意思。
總結：
Multimodal Machine Translation 是結合文字與其他感官信息（如圖像、語音）的智能翻譯方法，借助多模態融合提高翻譯的語義準確性和上下文適應能力，是機器翻譯領域的前沿研究方向。
