多模態表示學習（Multimodal Representation Learning）是一種機器學習技術，旨在從多種不同模態（如文字、圖像、音訊、視頻等）中自動提取並整合特徵，學習一個統一的表示空間，使得多模態資料能彼此對齊、互補並協同工作。
其核心目標是促使模型捕捉不同模態間的關聯性和共同語義，從而提升在多模態理解、分類、檢索及生成等任務中的表現。這種學習方法能減少單一模態的局限性，充分利用多源信息以取得更豐富的資料表示。
多模態表示學習的關鍵特點包括：
- 跨模態統一表示：將不同模態投影到共享的潛在表示空間，使得語義相似的跨模態數據在該空間中彼此接近。
- 自動特徵提取與融合：運用深度神經網絡（如卷積網絡、循環網絡、注意力機制）從多模態數據中抽取有意義的特徵並融合。
- 捕捉模態間的相互依賴：學習模態之間的互動與關聯關係，而非各模態獨立處理。
- 促進跨媒體任務：像是視覺問答、情感分析、影像標註、跨模態檢索（例如用文字檢索圖片）等應用。
常用技術與方法：
- 早期融合（Early Fusion）：將多模態的特徵在低階進行合併，一起送入後續模型學習。
- 晚期融合（Late Fusion）：先各模態獨立提取高階特徵，最後再合併決策或輸出。
- 注意力機制（Attention-based Fusion）：利用跨模態注意力學習重要特徵間的關聯，實現動態融合。
- 圖神經網絡（Graph Neural Networks）：將多模態信息建模成圖結構，捕捉複雜的模態間關係。
- 對比學習（Contrastive Learning）：拉近同一語義內容的多模態對應向量，分離無關向量，提升跨模態匹配精度。
應用範例：
- 圖像＋文字的跨模態檢索與生成（如DALL·E、CLIP）
- 視訊分析結合音訊與文字描述
- 多感官融合的人機交互和智能監控
簡言之，多模態表示學習是融合並理解多種不同類型數據的技術，使人工智慧系統可以更全面、深度地理解世界，從而支持多樣且複雜的跨媒體應用。
