Top 5
學習率決定模型每次更新權重的步伐大小，是訓練中最關鍵的超參數之一。若學習率太大，模型會震盪不收斂；太小則收斂太慢。透過梯度下降法與適當的學習率調整技巧（如 Adam、Decay、Momentum、Warm-up）可加速並穩定模型訓練。選對學習率，能讓模型快速且準確地學到最佳解。
激活函數是神經網路能學習非線性特徵的關鍵，沒有它，無論堆疊多少層都只是線性模型。常見激活函數如 ReLU、Sigmoid、Tanh、Leaky ReLU、Softmax 各有用途，其中 ReLU 最常用，具高效與快速收斂優點。選擇合適的激活函數能讓模型具備更強的表達力與判斷力，是深度學習的核心之一。
隱藏層讓神經網路能學習資料中的抽象特徵與非線性關係。若只有輸入與輸出層，模型僅能學習簡單的線性對應，難以處理複雜問題。加入隱藏層後，模型能逐層提取更深層的模式與結構，是深度學習成功的關鍵。隱藏層越多，模型表達力越強，但也需注意過擬合風險。
多層感知器（MLP）是最基本的前饋神經網路，由輸入層、隱藏層與輸出層組成，並透過多層全連接層逐步提取特徵。每層節點與前一層所有節點相連，常搭配非線性激活函數如 ReLU，使模型具備學習複雜關係的能力。MLP 是深度學習的基礎結構之一，廣泛應用於分類與回歸任務中。
AI時代系列(2) 機器學習三部曲: 🔹 第二部：《深度學習 —— 神經網路的革命》
10/100 第一週：深度學習基礎入門
10.小結與測驗：手寫數字分類（MNIST）🖊 用 TensorFlow 練習第一個深度模型！
__________________________________
為提升模型泛化能力，資料須切分為訓練集、驗證集與測試集。訓練集用來學習參數，驗證集用於調參與早停，測試集則專供最終評估，不能參與訓練。常見比例為 6:2:2，資料量少時可用 K-Fold 交叉驗證確保評估穩定。適當切分資料能避免模型「偷看答案」，確保學習效果真實可靠。
過擬合是模型記住訓練資料細節，導致無法泛化。可透過 Dropout、L2 正則化、Early Stopping 等方法限制模型過度學習，提升對新資料的表現，讓模型學會規律而非死背答案。
深度學習透過多層神經網路自動學習資料特徵，廣泛應用於語音辨識、影像處理、自然語言理解與創意生成等領域。其強大能力源於可處理非線性關係並支援結構化與非結構化資料，常見模型如 CNN、Transformer、GAN 等。應用實例包含 Siri 語音助理、醫療影像判讀、AI 作畫與機器翻譯等。
損失函數用來衡量模型預測與實際結果的誤差，如 MSE、Cross Entropy 等；而優化器則根據這些誤差反向調整神經網路的權重與偏差，使模型學習更精準。常見優化器如 Adam 結合 Momentum 和 RMSProp，具備快速收斂與穩定性高的特點。兩者就像導航與方向盤，引導模型走向最優解。
激活函數是神經網路中賦予模型非線性能力的關鍵元件，使其能處理複雜的模式與資料。若缺乏激活函數，多層網路將等同於單層線性模型。常見函數如 ReLU 計算快速且有效避免梯度消失，是中間層的主流選擇；Sigmoid 適用於二分類輸出；Softmax 則將輸出轉為機率分布，常用於多分類任務。
學習率決定模型每次更新權重的步伐大小，是訓練中最關鍵的超參數之一。若學習率太大，模型會震盪不收斂；太小則收斂太慢。透過梯度下降法與適當的學習率調整技巧（如 Adam、Decay、Momentum、Warm-up）可加速並穩定模型訓練。選對學習率，能讓模型快速且準確地學到最佳解。
激活函數是神經網路能學習非線性特徵的關鍵，沒有它，無論堆疊多少層都只是線性模型。常見激活函數如 ReLU、Sigmoid、Tanh、Leaky ReLU、Softmax 各有用途，其中 ReLU 最常用，具高效與快速收斂優點。選擇合適的激活函數能讓模型具備更強的表達力與判斷力，是深度學習的核心之一。
隱藏層讓神經網路能學習資料中的抽象特徵與非線性關係。若只有輸入與輸出層，模型僅能學習簡單的線性對應，難以處理複雜問題。加入隱藏層後，模型能逐層提取更深層的模式與結構，是深度學習成功的關鍵。隱藏層越多，模型表達力越強，但也需注意過擬合風險。
多層感知器（MLP）是最基本的前饋神經網路，由輸入層、隱藏層與輸出層組成，並透過多層全連接層逐步提取特徵。每層節點與前一層所有節點相連，常搭配非線性激活函數如 ReLU，使模型具備學習複雜關係的能力。MLP 是深度學習的基礎結構之一，廣泛應用於分類與回歸任務中。
AI時代系列(2) 機器學習三部曲: 🔹 第二部：《深度學習 —— 神經網路的革命》
10/100 第一週：深度學習基礎入門
10.小結與測驗：手寫數字分類（MNIST）🖊 用 TensorFlow 練習第一個深度模型！
__________________________________
為提升模型泛化能力，資料須切分為訓練集、驗證集與測試集。訓練集用來學習參數，驗證集用於調參與早停，測試集則專供最終評估，不能參與訓練。常見比例為 6:2:2，資料量少時可用 K-Fold 交叉驗證確保評估穩定。適當切分資料能避免模型「偷看答案」，確保學習效果真實可靠。
過擬合是模型記住訓練資料細節，導致無法泛化。可透過 Dropout、L2 正則化、Early Stopping 等方法限制模型過度學習，提升對新資料的表現，讓模型學會規律而非死背答案。
深度學習透過多層神經網路自動學習資料特徵，廣泛應用於語音辨識、影像處理、自然語言理解與創意生成等領域。其強大能力源於可處理非線性關係並支援結構化與非結構化資料，常見模型如 CNN、Transformer、GAN 等。應用實例包含 Siri 語音助理、醫療影像判讀、AI 作畫與機器翻譯等。
損失函數用來衡量模型預測與實際結果的誤差，如 MSE、Cross Entropy 等；而優化器則根據這些誤差反向調整神經網路的權重與偏差，使模型學習更精準。常見優化器如 Adam 結合 Momentum 和 RMSProp，具備快速收斂與穩定性高的特點。兩者就像導航與方向盤，引導模型走向最優解。
激活函數是神經網路中賦予模型非線性能力的關鍵元件，使其能處理複雜的模式與資料。若缺乏激活函數，多層網路將等同於單層線性模型。常見函數如 ReLU 計算快速且有效避免梯度消失，是中間層的主流選擇；Sigmoid 適用於二分類輸出；Softmax 則將輸出轉為機率分布，常用於多分類任務。
