Reference: https://dl.acm.org/doi/10.1145/3543669
機器學習常見的兩種技法: PCA vs. OLS
- PCA: 完全屬於feature engineering的範疇，假設之後要用feature要對某目標y進行預測，y對於如何降維沒有任何貢獻
- OLS: 直接用全部特徵去回歸y，容易有共線性、擬合問題
PCR (主成分迴歸)可以是一種解法: 先對X做PCA，取前幾個component做OLS，但「取幾個主成分」與主成分是否跟 y 對齊都得靠經驗判斷。
有沒有甚麼方法可以解決此類問題?
Regression Component Analysis (RCA)
RCA是同時考慮「輸入方差」與「對目標的關聯」的一組正交向量
注意，OLS的公式
與RCA的w1只差一個縮放分母。這表示RCA-w1先找出哪個方向最能反映y (往哪投影)，然後透過分母縮放，確保投影的量正好把殘差平方和壓到最小就變成OLS了
