「交叉驗證 (Cross-Validation)」是一種評估機器學習模型性能的常用統計方法，特別是在數據量有限的情況下。它的主要目的是評估模型在獨立的、未參與訓練的數據集上的表現，從而更好地估計模型在真實世界中的泛化能力，並幫助選擇合適的模型和超參數。
簡單來說，交叉驗證通過將原始數據集分成多個子集（或稱為「折」），然後輪流地使用其中一個子集作為驗證集（或測試集），而使用剩下的子集作為訓練集來訓練模型。這個過程會重複多次，每次使用不同的子集作為驗證集。最後，將所有驗證結果彙總起來，得到對模型性能的綜合評估。
為什麼需要交叉驗證？- 更可靠的性能評估： 簡單地將數據集劃分為一個訓練集和一個測試集可能導致測試集的選擇性偏差，使得模型的性能評估不夠準確。交叉驗證通過在多個不同的數據子集上進行評估，可以得到更穩定和可靠的性能估計。
- 模型選擇： 在比較不同模型或同一模型不同超參數設定的性能時，交叉驗證可以幫助我們選擇泛化能力更好的模型或超參數。
- 避免過擬合： 通過在不同的驗證集上評估模型的性能，可以幫助我們判斷模型是否過度擬合了訓練數據。如果模型在訓練集上表現很好，但在交叉驗證集上的表現不佳，則可能存在過擬合。
常見的交叉驗證方法：
- k 折交叉驗證 (k-Fold Cross-Validation)：
- 將原始數據集隨機分成 k 個大小大致相等的互斥子集（或稱為「折」）。 進行 k 次訓練和驗證的迭代。在每次迭代中，選擇其中的一個子集作為驗證集，而將剩下的 k-1 個子集合併作為訓練集來訓練模型。 在驗證集上評估模型的性能。 最後，將 k 次驗證結果（例如，準確率、F1 分數等）取平均值，作為模型最終的性能評估。 常用的 k 值包括 5 和 10。
- 留一交叉驗證 (Leave-One-Out Cross-Validation, LOOCV)：
- 這是 k 折交叉驗證的一個特例，其中 k 等於原始數據集中的樣本數量。 在每次迭代中，選擇一個樣本作為驗證集，而使用剩下的所有樣本作為訓練集。 這個過程會重複 n 次（n 為樣本總數），每次使用不同的樣本作為驗證集。 LOOCV 的優點是它使用了幾乎所有的數據進行訓練，因此偏差較小。但它的計算成本很高，尤其是在數據集很大時。
- 分層 k 折交叉驗證 (Stratified k-Fold Cross-Validation)：
- 這種方法在 k 折交叉驗證的基礎上增加了分層的概念。它確保每個折中各個類別的比例與原始數據集中各個類別的比例大致相同。 這對於分類任務中類別不平衡的數據集非常重要，可以避免由於驗證集中缺少某些類別的樣本而導致的性能評估偏差。
- 重複 k 折交叉驗證 (Repeated k-Fold Cross-Validation)：
- 為了進一步提高性能評估的穩定性，可以多次重複執行 k 折交叉驗證，每次重複都使用不同的數據劃分。 最後，將所有迭代的驗證結果進行平均。
交叉驗證的步驟總結：
- 將數據集劃分為 k 個子集。
- 對於 i 從 1 到 k：
- 將第 i 個子集作為驗證集。 將剩下的 k-1 個子集作為訓練集。 在訓練集上訓練模型。 在驗證集上評估模型。
- 彙總所有驗證結果（例如，計算平均值和標準差）。
使用交叉驗證的注意事項：
- 數據獨立性： 交叉驗證假設數據樣本之間是獨立同分布的。如果數據之間存在時間依賴性（例如，時間序列數據），則需要使用其他更適合的方法（例如，時間序列交叉驗證）。
- 計算成本： 交叉驗證需要多次訓練和評估模型，因此計算成本可能會比較高，尤其是在數據集很大或模型很複雜時。
- 超參數調整： 交叉驗證通常用於超參數調整。在選擇最佳超參數時，需要在不同的超參數組合下進行交叉驗證，選擇平均性能最好的組合。
總之，交叉驗證是評估機器學習模型性能和選擇模型的有力工具，它能夠提供比單純劃分訓練集和測試集更可靠的泛化能力估計。
