Activation Function LeakyReLU

LeakyReLU (Leaky Rectified Linear Unit)

1.在 x≤0 區域，允許輸出一個小於 0 的線性值（αx ），有效解決神經元死亡問題。

2.在負值區域保留梯度，避免梯度消失，適合深層網路的訓練。

3.雖然負值區域仍有小幅影響，但需要設定合適的 α（通常為 0.01）來平衡性能與效果。