超參數調優是指在機器學習中，通過尋找最佳組合的超參數值來提升模型性能的過程。超參數是指在訓練前需設定，且不通過模型訓練自動學習的參數，如學習率、批次大小、樹的深度等。
常用的超參數調優方法：
1. 網格搜尋（Grid Search）• 對預定的超參數範圍進行系統遍歷，嘗試所有組合，找到表現最佳的超參數組合。
• 優點：全面；缺點：計算量大，耗時長。
2. 隨機搜尋（Random Search）
• 從超參數空間隨機抽取若干組合進行評估。
• 優點：計算效率較高，常能找到接近最佳的組合。
3. 貝葉斯優化（Bayesian Optimization）
• 利用歷史評估結果建立超參數與性能的概率模型，有策略地選擇下一組超參數以提高優化效率。
• 適合計算成本高的模型調參。
4. 進化算法與強化學習
• 通過遺傳演算法或RL來搜索超參數空間。
• 通常用於神經網絡架構搜尋（NAS）。
5. 自適應方法
• 動態調整學習率等超參數，如學習率衰減、早停技術。
調優流程通常包含
• 定義超參數搜索空間。
• 選擇調優方法（如網格搜或貝葉斯優化）。
• 使用交叉驗證或驗證集評估模型性能。
• 選擇最佳超參數組合並進行模型訓練與測試。
簡單比喻：
超參數調優就像調音師調整音響設備的各種旋鈕，以尋找最佳的聲音效果。
總結：
常用超參數調優方法包括網格搜尋、隨機搜尋、貝葉斯優化等，透過合理探索參數空間，提升機器學習模型性能及穩定性。
