元學習 - Meta-Learning

前言

一個好的機器學習模型通常需要大量樣本進行訓練。相比之下，人類學習新概念和技能要快得多，也更有效率。例如:小孩子只需見過幾次貓和鳥就能很快分辨它們。會騎自行車的人很可能在很少甚至沒有示範的情況下就能發現騎摩托車的方法。這樣的生活經驗讓大家想到是否有可能設計一個具有類似特性的機器學習模型——只要通過少量訓練例子快速學習新概念和技能？
以上的想法本質上就是元學習（meta-learning）試圖解決的問題。我們期待一個好的元學習模型能夠很好地適應或延伸到訓練期間從未遇到過的新任務和新環境。適應過程，本質上是一個小型學習會話，發生在測試期間，但對新任務內容的接觸有限。最終，適應後的模型可以完成新任務。這些任務可以是任何明確定義的機器學習問題家族：監督學習、強化學習等。例如，以下是幾個具體的元學習任務：

1. 在非貓圖像上訓練的分類器在看到少量貓圖片後可以判斷給定圖像是否包含貓。
2. 一個遊戲機器人能夠快速掌握一個新遊戲。
3. 一個迷你機器人在測試時能夠在上坡表面完成所需任務，即使它只在平坦表面環境中接受過訓練。

深度學習模型通過梯度反向傳播來學習。然而，基於梯度的最佳化既不是為了應對少量訓練樣本而設計的，也不是為了在少量最佳化步驟內收斂而設計的。是否有一種方法可以調整最佳化演算法，使模型能夠透過少量例子學習？這個概念正是基於最佳化的元學習演算法所追求的。

以下我們使用LSTM元學習為例，LSTM元學習最佳化算法可以被明確建立。Ravi & Larochelle（2017）[1] 發表論文，並將其命名為「元學習器」，而其處理任務的原始模型被稱為「學習器」。元學習器的目標是使用小型支持集有效地更新學習器的參數，使學習器能夠快速適應新任務。讓我們將學習器模型表示為 $M_\theta$ 參數化為 $\theta$，元學習器表示為 $R_\phi$ 參數為 $\phi$，損失函數為 $\mathcal{L}$。

元學習器被建模為LSTM，因為：

1. 反向傳播中的基於梯度的更新與LSTM中的單元狀態更新之間存在相似性。
2. 了解梯度的歷史有利於梯度更新。

Reference

1. https://openreview.net/pdf?id=rJY0-Kcll