JumpReLU

橫軸代表輸入值 (z)

縱軸代表輸出值 (J(z))

當輸入值小於或等於閾值 κ 時，函數輸出為 0

當輸入值大於閾值 κ 時，函數輸出等於輸入值本身。

閾值 κ意味著只有超過閾值的輸入特徵才會被模型考慮，而其他特徵則會被忽略(稀疏性)

google的gemma2模型有應用到此activation function ，進而讓模型可解釋化