LeakyReLU (Leaky Rectified Linear Unit) 1.在 x≤0 區域,允許輸出一個小於 0 的線性值(αx ),有效解決神經元死亡問題。 2.在負值區域保留梯度,避免梯度消失,適合深層網路的訓練。 3.雖然負值區域仍有小幅影響,但需要設定合適的 α(通常為 0.01)來平衡性能與效果。