[探索] 使用 Mixture of Experts 建立多任務學習框架

多任務學習（Multi-task Learnig）

1. 非明顯資料擴增（Implicit data augmentation）使用多個相關任務的標註，多任務學習可以平均掉與任務獨立，和資料相依的噪點，而使模型更易最佳泛化。
2. 專注學習焦點（Attention focusing）：多任務學習可以使模型專注在任務共享的特徵上，並可藉由其他任務提供判定習得的特徵是否與任務無關的證據。
3. 透過其他任務來學習重要特徵（Eavesdropping）：因為每個任務學習共享特徵的難易度不同，多任務學習可以透過較易學習共享特徵的任務來直接學習與任務相關的重要特徵。
4. 偏好學習特定特徵（Representation bias）：多任務學習會偏好學習被相關任務共享的特徵。
5. 調節模型（Regularization）：透過學習共享特徵，多任務學習可以有效地降低過度擬合。