特徵選擇

特徵選擇是機器學習中用來從原始特徵中挑選對目標變數最有影響力特徵的過程，能降低模型複雜度、提升預測效能及解釋性。常見的特徵選擇方法主要分成三大類：

1. 過濾法（Filter Methods）

• 原理：基於統計指標評估特徵與目標之間的相關性，獨立於任何學習模型。
• 常用指標：皮爾森相關係數、卡方檢驗、F檢驗、互信息等。
• 優點：計算速度快，適合初步篩選高維特徵，不依賴模型。
• 缺點：未考慮特徵間相互作用，可能保留冗餘特徵。
• 使用場景：數據預處理階段，快速刪減無關特徵。

• 原理：以預測模型的性能作為特徵子集評價標準，迭代搜索最佳特徵子集。
• 典型方法：前向選擇、後向剔除、遞迴特徵消除 (RFE)。
• 優點：充分考慮特徵間依賴關係，效果通常較好。
• 缺點：計算成本高，較不適合超大規模數據。
• 使用場景：精細特徵篩選與模型微調。

3. 嵌入法（Embedded Methods）

• 原理：將特徵選擇內嵌於模型訓練過程，借助模型內部機制自動篩選。
• 典型模型：帶L1正則化的Lasso回歸、決策樹、隨機森林、梯度提升樹（GBDT）。
• 優點：效率高，與模型緊密結合，避免過度評估。
• 缺點：依賴特定模型，可移植性受限。
• 使用場景**：模型訓練過程中同步篩選重要特徵。

其他輔助技術

• 主成分分析（PCA）**：嚴格來說屬於降維非選擇，但常用於特徵預處理。
• 互信息與相關性分析**：評估非線性關係，彌補傳統相關性分析不足。

總結

選擇特徵選擇方法需根據數據規模、任務需求及計算資源，過濾法速度快適合初步篩選，包裝法效果佳但計算量大，嵌入法平衡性能與效率，是機器學習流程中不可或缺的重要環節，能顯著提升模型效果和解釋力。