Activation Function ReLU

ReLU 整流線性單位函式 (Rectified Linear Unit)

1.沒有分數跟指數，讓電腦加速運算

2.有效減緩梯度消失問題

3.但是會造成神經元死亡，神經元輸入小於等於 0時，這些神經元的梯度始終為 0，無法更新權重