Joint Representation（聯合表示）是多模態學習中的重要策略之一，指的是將來自不同模態（如文字、圖像、音訊等）的數據，同時編碼並映射到一個共享的高維向量空間中，形成一個統一的數據表示。這種表示方法試圖捕捉並融合各模態間的互補信息與共通語義，讓模型能對多源資料進行更深度的理解與推理。
Joint Representation的主要特點：
- 共享空間映射：所有模態數據被映射到共同的潛在空間，便於跨模態比對與融合。
- 信息融合：融合不同模態的特徵，提取跨模態的相關特徵和語義關聯。
- 統一表徵：生成一個整體、融合後的表示向量，可直接用於下游任務（分類、檢索、生成等）。
- 端到端訓練：通常可通過端到端的深度神經網路同時優化多模態編碼器及融合模組。
優點與挑戰：
- 有助於改善單一模態的局限性，從多方面信息獲取更全面的數據理解。
- 在訓練與推理階段需要同時具備所有模態數據，對於缺失模態或不匹配數據存在挑戰。
- 需防止某一模態信息主導融合，造成表徵失衡。
典型應用：
- 視覺語言任務（如VQA，圖文檢索）
- 多媒體內容分析
- 跨模態生成與理解
簡言之，Joint Representation強調多模態數據在同一空間的融合與表示，是多模態學習中促進跨模態協同理解的核心方法之一。
