JumpReLU

更新於 2024/12/10閱讀時間約 1 分鐘

橫軸代表輸入值 (z)

縱軸代表輸出值 (J(z))

當輸入值小於或等於閾值 κ 時,函數輸出為 0

當輸入值大於閾值 κ 時,函數輸出等於輸入值本身。

閾值 κ意味著只有超過閾值的輸入特徵才會被模型考慮,而其他特徵則會被忽略(稀疏性)

google的gemma2模型有應用到此activation function ,進而讓模型可解釋化


raw-image


avatar-img
0會員
21內容數
留言0
查看全部
avatar-img
發表第一個留言支持創作者!
Princend的沙龍 的其他內容
1.從提案分布 q(x) 中抽樣候選點 x。 2.隨機生成 y∼U(0,c⋅q(x))。 3.若 y ≤ p(x),接受點 x;否則拒絕。
1.計算其累積分布函數,使得 𝐹(𝑥)的範圍為 [0,1] 2.從均勻分布 𝑈(0,1) 中生成一個隨機數 𝑢(藍色的點) 3.計算反函數 4.從反函數中抽樣x(紅色的點)
PDF (Probability Density Function,機率密度函數)是隨機變數的機率密度,描述分布形狀 CDF (Cumulative Distribution Function,累積分布函數)是其累積機率,表示小於等於某值的總機率。PDF 是 CDF 的導數,CDF 是 PDF 的積
高斯分布 又稱常態分布 是機器學習中常見的數據分佈,應用於分類、降維、密度估計與異常檢測等,擁有簡單數學特性和廣泛應用場景。
SGD(Stochastic Gradient Descent,隨機梯度下降) 每次迭代僅使用一小部分數據,通常是一個樣本或一個小批次(minibatch,要平均)來計算梯度,從而更新模型參數。 優點: 1.更新速度快,適合大規模數據。 2.可跳出鞍點或局部極小值。 應用:
saddle point 鞍點 圖中函數為 z=x^2-y^2 既不是局部極小值,也不是局部極大值 在鞍點,梯度向量的大小趨近於零,導致參數更新的幅度變得極小,算法可能「卡住」以下有幾種方法可改進 1.使用 隨機梯度下降(SGD) 2.引入「動量」Momentum 概念,例如adam
1.從提案分布 q(x) 中抽樣候選點 x。 2.隨機生成 y∼U(0,c⋅q(x))。 3.若 y ≤ p(x),接受點 x;否則拒絕。
1.計算其累積分布函數,使得 𝐹(𝑥)的範圍為 [0,1] 2.從均勻分布 𝑈(0,1) 中生成一個隨機數 𝑢(藍色的點) 3.計算反函數 4.從反函數中抽樣x(紅色的點)
PDF (Probability Density Function,機率密度函數)是隨機變數的機率密度,描述分布形狀 CDF (Cumulative Distribution Function,累積分布函數)是其累積機率,表示小於等於某值的總機率。PDF 是 CDF 的導數,CDF 是 PDF 的積
高斯分布 又稱常態分布 是機器學習中常見的數據分佈,應用於分類、降維、密度估計與異常檢測等,擁有簡單數學特性和廣泛應用場景。
SGD(Stochastic Gradient Descent,隨機梯度下降) 每次迭代僅使用一小部分數據,通常是一個樣本或一個小批次(minibatch,要平均)來計算梯度,從而更新模型參數。 優點: 1.更新速度快,適合大規模數據。 2.可跳出鞍點或局部極小值。 應用:
saddle point 鞍點 圖中函數為 z=x^2-y^2 既不是局部極小值,也不是局部極大值 在鞍點,梯度向量的大小趨近於零,導致參數更新的幅度變得極小,算法可能「卡住」以下有幾種方法可改進 1.使用 隨機梯度下降(SGD) 2.引入「動量」Momentum 概念,例如adam
你可能也想看
Google News 追蹤
Thumbnail
本文探討了複利效應的重要性,並藉由巴菲特的投資理念,說明如何選擇穩定產生正報酬的資產及長期持有的核心理念。透過定期定額的投資方式,不僅能減少情緒影響,還能持續參與全球股市的發展。此外,文中介紹了使用國泰 Cube App 的便利性及低手續費,幫助投資者簡化投資流程,達成長期穩定增長的財務目標。
前言 在閱讀《強化式學習:打造最強 AlphaZero 通用演算法》時,對一些看似基本,但是重要且會影響到之後實作的項目概念有點疑惑,覺得應該查清楚,所以搞懂後記錄下來,寫下這篇文章(應該說是筆記?)。 正文 下面這段程式碼: model = Sequential() model.add
Thumbnail
本文探討了複利效應的重要性,並藉由巴菲特的投資理念,說明如何選擇穩定產生正報酬的資產及長期持有的核心理念。透過定期定額的投資方式,不僅能減少情緒影響,還能持續參與全球股市的發展。此外,文中介紹了使用國泰 Cube App 的便利性及低手續費,幫助投資者簡化投資流程,達成長期穩定增長的財務目標。
前言 在閱讀《強化式學習:打造最強 AlphaZero 通用演算法》時,對一些看似基本,但是重要且會影響到之後實作的項目概念有點疑惑,覺得應該查清楚,所以搞懂後記錄下來,寫下這篇文章(應該說是筆記?)。 正文 下面這段程式碼: model = Sequential() model.add