Activation Function（激活函數）

Activation Function（激活函數）是神經網絡中的一個數學函數，其作用是將神經元的輸入信號轉換成輸出信號。激活函數決定了神經元是否「激活」並將訊號傳遞給下一層。

主要用途

• 引入非線性：激活函數將線性組合的輸入轉換為非線性輸出，使得神經網絡可以學習複雜的資料模式與非線性關係。
• 控制訊號傳遞：根據輸入強度，決定神經元是否激活，有效幫助模型捕捉重要特徵。
• 提升模型能力：沒有激活函數，無論層數多深，神經網絡都只能等同於線性模型。

常見激活函數類型

• 線性激活函數：直接輸出輸入值，適合輸出層部分任務，但無法引入非線性。
• Sigmoid 函數：輸出範圍0到1，適合二分類問題，但梯度消失問題較嚴重。
• Tanh 函數：輸出範圍-1到1，性能優於Sigmoid，但仍有梯度消失問題。
• ReLU（Rectified Linear Unit）：當前最常用，輸出為 max(0, x)，計算簡單且緩解梯度消失。
• Leaky ReLU、ELU、GELU 等：為改進ReLU缺陷而發展的變體。

總結

激活函數是神經網絡的核心組件，賦予網絡非線性學習能力，幫助模型捕捉複雜特徵並解決多層網絡訓練中的梯度問題。選擇合適的激活函數對提升模型性能至關重要。