導讀:現實世界幾乎沒有「剛好解」
工程實務中常見:
Ax = b
但:b 不在 A 的欄空間內
代表:
👉 根本沒有精確解
怎麼辦?
答案是:
找一個最接近的解
一、幾何觀點
把 b 投影到 A 的欄空間
投影點 = A x̂
使:
||Ax̂ − b|| 最小
二、最小平方定義
x̂ = arg min ||Ax − b||²
三、法方程式
AᵀA x̂ = Aᵀ b
四、SVD 解法(更穩定)
若:
A = U Σ Vᵀ
則:
x̂ = V Σ⁻¹ Uᵀ b
五、工程直覺
👉 不追求完美
👉 追求誤差最小
六、投影矩陣
P = A (AᵀA)⁻¹ Aᵀ
七、工程應用
· 曲線擬合
· 參數估測
· 通道估計
· 影像去雜訊
八、一句話記住
最小平方 = 在雜訊世界選最好解
🧮 實務演練題:最小平方擬合
給定:
A =
⎡ 1 1 ⎤
⎣ 1 2 ⎦
b =
⎡ 1 ⎤
⎣ 2 ⎦
求最小平方解 x̂
解析:
AᵀA =
⎡ 2 3 ⎤
⎣ 3 5 ⎦
Aᵀb =
⎡ 3 ⎤
⎣ 5 ⎦
解:
⎡ 2 3 ⎤ x̂ = ⎡ 3 ⎤
⎣ 3 5 ⎦ ⎣ 5 ⎦
行列式:
2·5 − 3·3 = 1
反矩陣:
(AᵀA)⁻¹ =
⎡ 5 −3 ⎤
⎣ −3 2⎦
x̂ = (AᵀA)⁻¹ Aᵀb
=
⎡ 5 −3 ⎤ ⎡ 3 ⎤
⎣ −3 2 ⎦ ⎣ 5 ⎦
=
⎡ 0 ⎤
⎣ 1 ⎦
🎯 工程意義
✔ 找到距離 b 最近的 Ax
✔ 抵抗雜訊影響
🔑 收斂
最小平方,是工程師在不完美世界中的理性選擇














