[探索] 門外漢的梯度下降變奏曲（中）

學習率排程（Schedule learning rate）

指數衰退加權平均（Exponentially Weighted Average）

動態調整學習率（Adaptive learning rate）

Adagrad

Adadelta

RMSprop

Rprop

註釋：

參考資料：

1. A Learning-rate Schedule for Stochastic Gradient Methods to Matrix Factorization (英，paper)
2. Adadelta: An Adaptive Learning Rate Method (英，paper)

延伸閱讀：

1. “Setting the learning rate of your neural network.”（英）：在這篇由 Jeremy Jordan 所寫的文章中，詳細解釋循環式的學習率調整排程（Cyclical learning rates）和 warm restart 學習率的方法。在學習率調整排程的小節，作者先介紹了如何在每一個週期使用三角形法來增加和減少學習率，並以圖解的方式瞭解公式。隨後，介紹了另一個 warm restart 學習率的方法。在這個 warm restart 的方法中，每個週期包含了一個使用 consine 函式來調降學習率，當達到使用者設定的最小學習率值時，做 “hard restart”，也就是將學習率重設為初始值。使用重設方法的隨機梯度下降法被簡稱為 SGDR，取自於 Stochastic Gradient Descent with Warm Restarts。採取循環式的學習率調整排程，除了如前述能有較佳的泛化能力，也有學者在每一個週期都對訓練中的模型分別存成不同的模型，在預測時則用 ensemble 的方法集合所有的模型來做預測。
2. RProp（英）：該文介紹 Rprop 演算法。該演算法源自於 1993 年的論文：“A direct adaptive method for faster backpropagation learning: the RPROP algorithm”。在這篇貼文中，作者利用圖解釋在標準梯度下降法中，使用學習率來調整梯度的作法可能會損失重要的資訊。比如說，在平坦區域中梯度的值通常都非常微小，若再乘上學習率可以說演算法根本動不了。在更新參數時，若只取梯度的正負號來決定更新的方向，步進的量則完全由學習率決定。但，為了達到動態調整學習率的效果，每一個參數的梯度正負號會用來決定學習率的大小。若該參數此次迭代的梯度正負號與上一個迭代相同，則增加學習率。若不相同的話，表示接近一個重要區域（critical region）則減少學習率。實際上使用的公式，該文亦有提供。在文章的最後，提到了一切實作的細節以及使用 PyTorch 完成的原始碼可供參考。