Dropout

「Dropout」是一種在深度學習中常用的正則化 (Regularization) 技術，主要用於防止神經網路過擬合 (Overfitting)。

你可以將 Dropout 想像成在訓練過程中，隨機地讓網路中的一些神經元「暫時休息」，不參與本次的向前傳播和反向傳播過程。

在訓練神經網路的每個批次 (batch) 中，Dropout 層會以一定的概率（這個概率通常是一個可以設定的超參數，例如 0.5）隨機地將一部分神經元的輸出設置為 0。這些被設置為 0 的神經元在本次訓練迭代中相當於被臨時「移除」或「禁用」了。

Dropout 的效果：

• 減少神經元之間的依賴： 由於每次訓練迭代中都有不同的神經元被隨機禁用，這迫使網路的其餘神經元學習到更魯棒的、獨立的特徵。網路不再過分依賴於某些特定的神經元或神經元之間的特定組合。
• 模擬多個不同的網路結構： 每次 Dropout 操作都相當於訓練一個略微不同的網路，最終的預測可以看作是這些不同網路的平均結果，這有助於提高模型的泛化能力。
• 防止共同適應 (Co-adaptation) 的發生： 共同適應是指某些神經元可能只在特定的組合下才有效。Dropout 可以打破這種共同適應，使得每個神經元都能夠獨立地學習到有用的特徵。

Dropout 的應用階段：

Dropout 通常只在訓練階段使用。在測試或預測階段，Dropout 層會被禁用，即所有神經元都會被激活，並且它們的權重會乘以在訓練階段使用的 Dropout 概率（或等效地，訓練階段的輸出會除以這個概率），以保證在預測時輸出的尺度與訓練時期望的尺度一致。

Dropout 的超參數：

Dropout 層通常有一個主要的超參數：

• 丟棄率 (Dropout Rate, 通常用 (p) 表示): 這個值表示在每個訓練批次中，神經元被隨機設置為 0 的概率。常見的取值範圍是 0.2 到 0.5。

Dropout 的優點：

• 簡單有效： Dropout 的概念和實現都相對簡單，但卻是一種非常有效的正則化方法。
• 減少過擬合： 通過減少神經元之間的依賴性和模擬多個網路結構，Dropout 可以顯著地降低模型的過擬合風險。
• 不需要修改模型結構： 只需要在現有的神經網路層之間添加 Dropout 層即可使用。

Dropout 的缺點：

• 可能增加訓練時間： 由於部分神經元在每次迭代中都被禁用，模型可能需要更長的訓練時間才能收斂。
• 選擇合適的丟棄率可能需要調參： 不同的任務和模型可能需要不同的丟棄率才能達到最佳效果。

總之，Dropout 是一種非常實用的正則化技術，通過在訓練過程中隨機禁用一部分神經元，有效地提高了神經網路的泛化能力，並被廣泛應用於各種深度學習模型中。