ReLU 整流線性單位函式 (Rectified Linear Unit)

1.沒有分數跟指數，讓電腦加速運算

2.有效減緩梯度消失問題

3.但是會造成神經元死亡，神經元輸入小於等於 0時，這些神經元的梯度始終為 0，無法更新權重



<p class="lexical__paragraph" dir="ltr"><span style="white-space: pre-wrap;">ReLU 整流線性單位函式 (Rectified Linear Unit)</span></p><p class="lexical__paragraph" dir="ltr"><span style="white-space: pre-wrap;">1.沒有分數跟指數，讓電腦加速運算</span></p><p class="lexical__paragraph" dir="ltr"><span style="white-space: pre-wrap;">2.有效減緩梯度消失問題</span></p><p class="lexical__paragraph" dir="ltr"><span style="white-space: pre-wrap;">3.但是會造成神經元死亡，神經元輸入小於等於 0時，這些神經元的梯度始終為 0，無法更新權重</span></p><div class="lexical__image center"><div class="lexical__imageWrapper"><img src="https://images.vocus.cc/75c989c0-09ab-4c05-8b75-6843f73b9529.gif" data-src="https://images.vocus.cc/75c989c0-09ab-4c05-8b75-6843f73b9529.gif" class="lazy" data-original-src="https://images.vocus.cc/75c989c0-09ab-4c05-8b75-6843f73b9529.gif" data-lowquality="true" data-width="600" data-height="337" data-retry="0" onerror="Number(this.dataset.retry) > 4 ? this.src='/static/default-error-img.svg': (() => {this.src=this.dataset.originalSrc; this.dataset.retry = Number(this.dataset.retry)+1;})()" alt="raw-image"></div><div></div></div><p class="lexical__paragraph"><br></p>

以行動支持創作者！付費即可解鎖

科技

Activation Function LeakyReLU

激活函數 Tanh 雙曲正切函數

提問的內容越是清晰，強者、聰明人越能在短時間內做判斷、給出精準的建議，他們會對你產生「好印象」，認定你是「積極」的人，有機會、好人脈會不自覺地想引薦給你

Activation Function ReLU