混合專家（Mixture of Experts, MoE） 是一種機器學習與深度學習的模型架構，其核心理念是將多個專家模型（Experts）結合起來，根據輸入資料的不同特性，動態選擇最適合的專家模型或模型的組合進行處理。這樣可以實現更高效、更有針對性的計算，同時減少不必要的運算負擔。
核心概念：
- 專家模型（Experts）
- 每個專家模型是一個獨立的神經網絡或子模型，專注於處理某一類特定的任務或輸入數據特性。
- 這些專家模型可以相互獨立訓練，也可以在共享的基礎架構上協同優化。
- 門控網絡（Gating Network）
- 門控網絡是額外的子模型，負責決定哪些專家模型需要被激活（使用）。
- 門控網絡通常會根據輸入數據生成一個概率分佈，用於對專家模型進行加權組合。
- 例如，當輸入一筆數據時，門控網絡可能決定只激活兩個專家模型，而忽略其他的專家模型。
- 稀疏激活（Sparse Activation）
- MoE 架構的一大特點是只激活少數的專家模型（例如100個專家中只激活2-3個）。
- 這可以顯著降低計算成本，同時保留高效能。
- 加權組合
- 最終的輸出是由激活的專家模型的預測結果，經過加權組合後生成的。
優勢：
- 高效計算
- 由於只激活少量專家模型，計算資源能夠被有效利用，特別是在處理大規模模型時。
- 可擴展性（Scalability）
- MoE 可以擴展至非常大的規模，例如包含數千個專家模型，而不會顯著增加運算成本。
- 任務專用性
- 專家模型可以專注於處理特定的任務或數據分佈，從而提高整體模型的精準度。
- 靈活性
- 可以根據輸入數據的不同特性，動態選擇最適合的專家模型來提升效能。
應用場景：
- 自然語言處理（NLP）
- Google 的 Switch Transformer 和 GLaM（Generalist Language Model）等模型基於 MoE 架構。這些模型在訓練與推理時顯著減少計算成本，同時在大規模數據集上仍能達到優異效能。
- 計算機視覺（CV）
- 在影像分類、目標檢測等任務中，MoE 可透過不同專家模型專注於特定影像特徵，提高分類的準確性。
- 推薦系統
- MoE 可根據使用者行為特徵選擇不同的推薦模型，提升推薦的準確度。
- 多任務學習
- 在解決多任務問題時，MoE 架構可讓不同的專家模型專注於不同的任務。
具體示例：
假設一個文本翻譯系統採用了 MoE 架構：
- 該系統包含10個專家模型，每個專家分別專注於不同的語言對（例如英語-法語、英語-德語）。
- 當門控網絡接收到一個英語輸入句子時，它會自動選擇專注於英語-法語翻譯的專家模型進行翻譯，而不會浪費資源激活與此無關的專家模型。
著名案例：
- Switch Transformer
- Google 提出的一種基於 MoE 的語言模型，具備稀疏激活特性，效能與全激活的 Transformer 模型相當，但計算成本更低。
- GLaM（Generalist Language Model）
- 另一種基於 MoE 的語言模型，計算效率更高，可在稀疏激活下完成多任務處理。