AI時代系列(3) 機器學習三部曲: 📘 第三部：《強化學習 —— AI 的決策與進化》
33/100 第四週：📌 時序差分學習 TD
33. TD 誤差與更新機制 🧮 每一步的微調造就整體最優！
_______________________________________
🎯 單元導讀：
TD 學習的核心驅動力來自於「TD 誤差（Temporal-Difference Error）」。
這種誤差衡量的是：當前的預測與實際觀察結果之間的落差。
學習的過程，就是不斷根據這個誤差調整我們對世界的估計。
本單元將深入剖析 TD 誤差的定義、學習更新規則，以及它如何驅動智慧體一步步學會正確的策略。
________________________________________
🔍 一、什麼是 TD 誤差？
TD 誤差衡量的是「當前對價值的估計」與「實際獲得的獎勵 + 下一狀態的估計」的差距：
delta_t = r_{t+1} + gamma * V(s_{t+1}) - V(s_t)
說明：
- delta_t : TD 誤差 (Temporal-Difference Error)
- r_{t+1} : 當下獲得的即時獎勵
- V(s_{t+1}) : 下一個狀態的價值估計
- V(s_t) : 當前狀態的原始估計
📌 如果 TD 誤差為 0，表示預測與實際結果吻合，無需修正。
________________________________________
⚙️ 二、學習更新公式（TD(0)）
在每一步中，狀態價值的更新如下：
V(s_t) <- V(s_t) + alpha * delta_t
其中：
- alpha : 學習率 (Learning Rate)，控制每次更新幅度
- delta_t : TD 誤差，是調整的依據
________________________________________
📦 三、TD 誤差 vs. MC 誤差對比
TD 誤差與MC 誤差在計算方式上有明顯差異。TD 誤差僅依賴「當前獲得的即時獎勵」與「下一狀態的預測值」進行更新，能在每一步即時學習，更新速度快、穩定性較高，變異性相對較小，但可能帶有偏差。
而 MC 誤差則需等完整 episode 結束後，利用實際累積回報進行更新，雖然變異性較大、收斂較慢，但因完全依靠真實經驗，長期下來可能達到更準確的價值估計。
兩者在學習應用上各具特色，TD 適合即時、持續性任務，MC 適合回合明確的完整情境。
________________________________________
🧠 四、TD 誤差的直覺圖示
假設你預估目前情況價值為 5 分，但走一步後得到的實際獎勵為 3 分，而你預測下一個狀態是 4 分，那麼：
delta_t = 3 + gamma * 4 - 5
如果 gamma = 1，則：
delta_t = 3 + 1 * 4 - 5 = 2
這代表你低估了目前狀態的價值，應該上調！
________________________________________
🕹 五、實例：你在設計 AI 教育平台
元件 例子說明
狀態 s 使用者目前的學習階段（例如：基礎、進階）
行動 a 系統推薦某個練習題目
回報 r 使用者完成題目的分數或學習反饋（如：+5 分）
新狀態 s′ 使用者進入更高一級的學習狀態
TD 誤差 使用者反饋超出預期 → 系統下次更傾向推薦相似題目
________________________________________
🧩 六、思考挑戰與任務
1️⃣ 有些人明知道預測錯誤，卻不修正，會有什麼後果？
• 持續偏誤：錯誤累積，決策愈來愈差。
• 學習停滯：無法從新經驗修正認知。
• 適應失敗：面對環境變化反應遲鈍。
• 心理防禦：自我合理化，讓失敗循環。
在強化學習中，等同拒絕更新 TD 誤差，模型將學不出正確策略。
________________________________________
2️⃣ V(s) 一開始設 0，AI 如何學出準確價值？可能困難？
• 逐步修正：靠探索收集經驗，隨回報修正 V(s)。
• 困難點：
o 初期探索不足 → 陷入次優策略
o 獎勵稀疏 → 學習很慢
o 預估不穩 → 早期更新波動大
o 環境變動 → 舊估計失準
需透過 ε-greedy 持續探索，搭配學習率衰減來穩定學習。
________________________________________
3️⃣ TD 誤差如何應用在「股票投資 AI」？與遊戲有何不同？
• 應用：每次交易後用實際回報修正預測，讓模型學會哪種市場狀態下的預期收益。
• 差異：
o 報酬延遲且波動大
o 資訊不完全
o 無法重來（獨特歷史）
o 環境高度變動
o 真金白銀的風險
需設計風險調整獎勵、應對非平穩性，甚至用多尺度 TD 來平衡短中長期預測。
________________________________________
✅ 七、小結與啟示
• TD 誤差是強化學習中的核心學習信號
• 它將預期與實際之間的落差轉化為價值更新
• TD 學習可以即時進行，適用於動態、連續的環境
• 要讓 AI 做得更好，就必須讓它時時修正自己的誤判！
