激活函數 Tanh 雙曲正切函數

更新 發佈閱讀 1 分鐘

Sigmoid 函數輸出範圍被壓縮在 0 到 1 之間,當輸入值過大或過小時,導數接近 0,導致權重幾乎停止更新。

此外,由於輸出總是正值且不以 0 為中心,使得權重更新的方向容易產生偏差,因而限制模型探索參數空間,影響收斂速度和學習效率。

tanh 通常應用在隱藏層的非線性變換、數據對稱分布的場景、循環神經網絡(RNN)的隱藏層中...等

vocus|新世代的創作平台


1.定義域:(−∞,+∞)

2.範圍:(−1,+1)

3.tanh⁡(0)=0

4.此函數是單調遞增的。

5.此函數處處連續。

6.此函數在其域內處處可微。


留言
avatar-img
Princend的沙龍
0會員
34內容數
Princend的沙龍的其他內容
2025/01/26
這本書旨在幫助創作者分享他們的過程並與受眾建立聯繫,而非僅僅是推銷自己。 ## 第一章:你不需要是個天才 * **創造力不只是天賦,而是一種運作方式** 。 * 不要相信「孤獨的天才」神話,偉大的作品往往來自於一個互相支持、彼此學習的「群體」(**scenius**)
Thumbnail
2025/01/26
這本書旨在幫助創作者分享他們的過程並與受眾建立聯繫,而非僅僅是推銷自己。 ## 第一章:你不需要是個天才 * **創造力不只是天賦,而是一種運作方式** 。 * 不要相信「孤獨的天才」神話,偉大的作品往往來自於一個互相支持、彼此學習的「群體」(**scenius**)
Thumbnail
2024/12/31
今年嘗試往不同領域去學習 甚至裸辭參加AI職訓班 雖然成長的幅度沒有想像的那麼好 但是至少是有成長的 期待未來的我 能夠持續學習 達到心中所想的目標
Thumbnail
2024/12/31
今年嘗試往不同領域去學習 甚至裸辭參加AI職訓班 雖然成長的幅度沒有想像的那麼好 但是至少是有成長的 期待未來的我 能夠持續學習 達到心中所想的目標
Thumbnail
2024/12/25
馬可夫鍊(Markov Chain) 是一種數學模型,用來描述一個系統在不同狀態之間的轉移過程,特點是未來的狀態只取決於當前狀態,而與過去的狀態無關。這種性質稱為馬可夫性質,即「無記憶性」。馬可夫鍊常用於統計學、機器學習、經濟學、生物學等領域。
Thumbnail
2024/12/25
馬可夫鍊(Markov Chain) 是一種數學模型,用來描述一個系統在不同狀態之間的轉移過程,特點是未來的狀態只取決於當前狀態,而與過去的狀態無關。這種性質稱為馬可夫性質,即「無記憶性」。馬可夫鍊常用於統計學、機器學習、經濟學、生物學等領域。
Thumbnail
看更多
你可能也想看
Thumbnail
橫軸代表輸入值 (z) 縱軸代表輸出值 (J(z)) 當輸入值小於或等於閾值 κ 時,函數輸出為 0 當輸入值大於閾值 κ 時,函數輸出等於輸入值本身。 閾值 κ意味著只有超過閾值的輸入特徵才會被模型考慮,而其他特徵則會被忽略(稀疏性) google的gemma2模型有應用到此act
Thumbnail
橫軸代表輸入值 (z) 縱軸代表輸出值 (J(z)) 當輸入值小於或等於閾值 κ 時,函數輸出為 0 當輸入值大於閾值 κ 時,函數輸出等於輸入值本身。 閾值 κ意味著只有超過閾值的輸入特徵才會被模型考慮,而其他特徵則會被忽略(稀疏性) google的gemma2模型有應用到此act
Thumbnail
本文分析導演巴里・柯斯基(Barrie Kosky)如何運用極簡的舞臺配置,將布萊希特(Bertolt Brecht)的「疏離效果」轉化為視覺奇觀與黑色幽默,探討《三便士歌劇》在當代劇場中的新詮釋,並藉由舞臺、燈光、服裝、音樂等多方面,分析該作如何在保留批判核心的同時,觸及觀眾的觀看位置與人性幽微。
Thumbnail
本文分析導演巴里・柯斯基(Barrie Kosky)如何運用極簡的舞臺配置,將布萊希特(Bertolt Brecht)的「疏離效果」轉化為視覺奇觀與黑色幽默,探討《三便士歌劇》在當代劇場中的新詮釋,並藉由舞臺、燈光、服裝、音樂等多方面,分析該作如何在保留批判核心的同時,觸及觀眾的觀看位置與人性幽微。
Thumbnail
Sigmoid 函數輸出範圍被壓縮在 0 到 1 之間,當輸入值過大或過小時,導數接近 0,導致權重幾乎停止更新。 此外,由於輸出總是正值且不以 0 為中心,使得權重更新的方向容易產生偏差,因而限制模型探索參數空間,影響收斂速度和學習效率。 tanh 通常應用在隱藏層的非線性變換、數據對稱分
Thumbnail
Sigmoid 函數輸出範圍被壓縮在 0 到 1 之間,當輸入值過大或過小時,導數接近 0,導致權重幾乎停止更新。 此外,由於輸出總是正值且不以 0 為中心,使得權重更新的方向容易產生偏差,因而限制模型探索參數空間,影響收斂速度和學習效率。 tanh 通常應用在隱藏層的非線性變換、數據對稱分
Thumbnail
背景:從冷門配角到市場主線,算力與電力被重新定價   小P從2008進入股市,每一個時期的投資亮點都不同,記得2009蘋果手機剛上市,當時蘋果只要在媒體上提到哪一間供應鏈,隔天股價就有驚人的表現,當時光學鏡頭非常熱門,因為手機第一次搭上鏡頭可以拍照,也造就傳統相機廠的殞落,如今手機已經全面普及,題
Thumbnail
背景:從冷門配角到市場主線,算力與電力被重新定價   小P從2008進入股市,每一個時期的投資亮點都不同,記得2009蘋果手機剛上市,當時蘋果只要在媒體上提到哪一間供應鏈,隔天股價就有驚人的表現,當時光學鏡頭非常熱門,因為手機第一次搭上鏡頭可以拍照,也造就傳統相機廠的殞落,如今手機已經全面普及,題
Thumbnail
4.0 尚芬哥爾操作與升型處理 4.1 尚芬哥爾操作 二 4.1_1 是一個函數。在缺乏規約的情況下, 是有歧義的,因為在實際操作上,我們不知道應該如何使用函子 F。 使用括號是一個常用的手段,例如 這明顯是一個二元函數,換句話說,這個函數的返回值同時需要兩個輸入值。假設 F 是求和函數
Thumbnail
4.0 尚芬哥爾操作與升型處理 4.1 尚芬哥爾操作 二 4.1_1 是一個函數。在缺乏規約的情況下, 是有歧義的,因為在實際操作上,我們不知道應該如何使用函子 F。 使用括號是一個常用的手段,例如 這明顯是一個二元函數,換句話說,這個函數的返回值同時需要兩個輸入值。假設 F 是求和函數
Thumbnail
這是一場修復文化與重建精神的儀式,觀眾不需要完全看懂《遊林驚夢:巧遇Hagay》,但你能感受心與土地團聚的渴望,也不急著在此處釐清或定義什麼,但你的在場感受,就是一條線索,關於如何找著自己的路徑、自己的聲音。
Thumbnail
這是一場修復文化與重建精神的儀式,觀眾不需要完全看懂《遊林驚夢:巧遇Hagay》,但你能感受心與土地團聚的渴望,也不急著在此處釐清或定義什麼,但你的在場感受,就是一條線索,關於如何找著自己的路徑、自己的聲音。
Thumbnail
Softmax 函數主要用於多分類問題,將輸出層的原始分數(logits)轉換為機率分佈。每個輸出的機率範圍在 0 到 1 之間,且所有輸出機率的總和為 1。 它的步驟包括: 1️⃣將每個輸出取指數化,放大差異。 2️⃣計算所有輸出的指數和(正規化因子)。 3️⃣ 將每個輸出的指數值除以
Thumbnail
Softmax 函數主要用於多分類問題,將輸出層的原始分數(logits)轉換為機率分佈。每個輸出的機率範圍在 0 到 1 之間,且所有輸出機率的總和為 1。 它的步驟包括: 1️⃣將每個輸出取指數化,放大差異。 2️⃣計算所有輸出的指數和(正規化因子)。 3️⃣ 將每個輸出的指數值除以
Thumbnail
《轉轉生》(Re:INCARNATION)為奈及利亞編舞家庫德斯.奧尼奎庫與 Q 舞團創作的當代舞蹈作品,結合拉各斯街頭節奏、Afrobeat/Afrobeats、以及約魯巴宇宙觀的非線性時間,建構出關於輪迴的「誕生—死亡—重生」儀式結構。本文將從約魯巴哲學概念出發,解析其去殖民的身體政治。
Thumbnail
《轉轉生》(Re:INCARNATION)為奈及利亞編舞家庫德斯.奧尼奎庫與 Q 舞團創作的當代舞蹈作品,結合拉各斯街頭節奏、Afrobeat/Afrobeats、以及約魯巴宇宙觀的非線性時間,建構出關於輪迴的「誕生—死亡—重生」儀式結構。本文將從約魯巴哲學概念出發,解析其去殖民的身體政治。
追蹤感興趣的內容從 Google News 追蹤更多 vocus 的最新精選內容追蹤 Google News