Tensor Fusion 是多模態學習中的一種融合技術，特別設計用來捕捉不同模態間的高階互動關係。其核心思想是以張量（tensor）的形式來表示並融合多模態特徵，能同時包含各模態的獨立信息以及模態間的交互作用，從而更全面深入地挖掘多模態數據的複雜關聯。
Tensor Fusion 的關鍵機制：
- 通過對各模態的特徵向量做外積（outer product）操作，形成一個多維張量，
- 該張量包含所有一階、二階到更高階的模態特徵交互項，
- 這些交互項保留了豐富的跨模態信息，有助於發掘模態間深層的非線性關係，
- 最後將張量展開後輸入後續神經網絡進行分類或其他任務。
代表模型
- Tensor Fusion Network (TFN)：最早提出並應用於多模態情緒分析和語義理解任務，TFN同時建模了語言、視覺和聲音三模態的獨立和交互特徵，提高了模型性能。
- TFN在多個實驗中證明相較於早期和晚期融合方法，能更有效捕獲多模態複雜特徵，提高準確率。
優點
- 能夠理論上和實踐上更好地捕捉多模態高階交互，
- 模型生成的張量結構直觀，便於解釋和可視化不同模態貢獻。
缺點
- 張量維度高，計算和存儲成本大，需要配合降維和正則化技巧，
- 可能面臨過擬合風險，特別是在樣本較少時。
簡單說，Tensor Fusion通過形成模態特徵的多維張量，深度融合多模態信息，成為多模態深度學習中捕捉複雜交互的重要融合技術。Tensor Fusion 是多模態學習中一種融合技術，透過將各模態的特徵向量進行外積（tensor product）操作，形成一個多維張量，該張量同步包含了單一模態特徵及其間所有高階交互作用。Tensor Fusion Network (TFN) 是此技術的代表模型，能有效捕捉語言、視覺和音訊模態間的複雜互動，提升多模態任務（如情感分析、分類）性能。該方法理論上能保留豐富多模態關聯信息，但同時會帶來較高的計算成本和記憶體需求。
簡而言之，Tensor Fusion 利用多維張量精細融合不同模態，實現深入且全面的多模態信息整合。
