ReLU 整流線性單位函式 (Rectified Linear Unit)1.沒有分數跟指數,讓電腦加速運算2.有效減緩梯度消失問題3.但是會造成神經元死亡,神經元輸入小於等於 0時,這些神經元的梯度始終為 0,無法更新權重