多任務學習（Multi-task Learnig）
多任務學習指的是使用多個相關的任務目標（Multiple objectives）來學習共享的表示方法。比起單一任務的學習方式，多任務學習會讓模型能夠使用在未曾見過的新任務中，也更易於泛化（generalize）。在這裡，相關性指的是能夠使用同樣的特徵來做多任務學習，或擁有相同的分佈。多任務學習有兩類學習方法：一是如前所提，使用多個相關任務目標，另一是使用一個主要任務，但搭配多個輔助任務（Auxiliary tasks）來幫助學習主要任務。
如何透過多任務學習來提升模型的泛化能力，可以由下列五點來說明：
- 非明顯資料擴增（Implicit data augmentation）使用多個相關任務的標註，多任務學習可以平均掉與任務獨立，和資料相依的噪點，而使模型更易最佳泛化。
- 專注學習焦點（Attention focusing）：多任務學習可以使模型專注在任務共享的特徵上，並可藉由其他任務提供判定習得的特徵是否與任務無關的證據。
- 透過其他任務來學習重要特徵（Eavesdropping）：因為每個任務學習共享特徵的難易度不同，多任務學習可以透過較易學習共享特徵的任務來直接學習與任務相關的重要特徵。
- 偏好學習特定特徵（Representation bias）：多任務學習會偏好學習被相關任務共享的特徵。
- 調節模型（Regularization）：透過學習共享特徵，多任務學習可以有效地降低過度擬合。
在 《Youtube 如何推薦你下一個影片？》[1] 一文介紹了 Google 如何利用一個多任務學習的學習演算法，建造一個影片的推薦系統。所使用的架構是 wide (shallow tower) and deep (Multi-gate Mixture of Experts, MMoE) 。在訓練目標上則採用多個目標（objectives），分別是使用者的點閱率（engagement objective） 和滿意度（satisfaction objective）。點擊率和欣賞影片的時間都屬於使用者的點閱率。而按讚或移除則屬於滿意度。
