Hansen W
2 位追蹤者
Hansen W
2 位追蹤者
AIHANS沙龍是一個結合AI技術實戰、產業策略與自我成長的知識平台，主題涵蓋機器學習、生成式AI、創業經驗、財務規劃及哲學思辨。這裡不只提供系統化學習資源與實作案例，更強調理性思維與行動力的結合。無論你是AI初學者、創業者，還是追求人生升維的行者，都能在這裡找到前進的方向與志同道合的夥伴。
全部內容
由新到舊
DQN 適合離散動作，簡單高效但偏高估；A2C 結合策略與價值，支援多環境並行，穩定性中偏高；PPO 引入剪裁更新，穩定性與泛用性最佳，為工業主流。選擇需依任務特性決定，善用工具才能事半功倍。
SAC 演算法結合「最大熵強化學習」與雙 Q 結構，兼顧高效探索與穩定收斂。透過自動調整 α 平衡探索與利用，避免過早收斂，適合連續控制、自駕車與 RLHF 等應用，是當前最穩健主流方法之一。
TD3 在 DDPG 基礎上引入「雙 Q 網路、延遲更新、策略平滑」三大改進，有效解決過估計與不穩定問題。能在連續控制任務中提供更準確、更穩定的學習表現，已成為取代 DDPG 的主流強化學習方法。
PPO 透過剪裁目標函數控制策略更新幅度，結合 Value Loss 與 Entropy Bonus，兼顧穩定、準確與探索。透過適當設定 clip ε、GAE 與 mini-batch SGD，可避免震盪並提升效率，成為強化學習中最穩健高效的主流方法。
PPO 以剪裁目標函數取代 TRPO 的複雜限制，兼顧穩定性與簡單性。透過策略比裁剪、GAE 與 mini-batch SGD，能高效更新策略，廣泛應用於遊戲、機器人與對話系統，是現今強化學習的主流方法。
TRPO 透過代理目標函數與 KL 散度限制，在「信任區間」內進行小步更新，結合共軛梯度法與線性搜尋，保證策略穩定提升。適合連續控制任務，但實作較複雜、計算成本高，卻在理論上具備穩定改進保障。
TRPO 透過限制新舊策略間的 KL 散度，在「信任區間」內小步更新，避免性能退步並提升穩定性。適用於高維連續控制如機器人任務，但實作複雜。理念可類比投資、健身與職涯轉換的漸進式進步。
本章統整策略梯度核心：從 REINFORCE 到 Actor-Critic，再到 A2C 與熵正則化，展現如何平衡探索與穩定。透過 LunarLander 與跳跳機器人實作，學習者能理解策略學習在連續與複雜環境中的優勢，為進階演算法奠基。
本單元以 Actor-Critic 演算法實作 LunarLander-v2，透過 Actor 輸出策略、Critic 評估狀態價值，利用 TD 誤差更新雙網路，逐步學會安全降落。並提供調參與探索建議，展現強化學習從互動中習得決策的核心精神。
熵正則化在強化學習中透過增加策略的不確定性，避免模型過早收斂於單一路徑，促進探索並提升長期表現。調整 β 參數能平衡探索與收斂，應用於遊戲、自駕車、多目標學習等場景，提升穩定性與適應力。
