筆記-強化式學習演算法簡介："Policy Gradient"

前言

跟上一篇文章一樣，都是看到陌生的演算法後，去搜尋資料記錄成文章。

正文

在強化式學習中，策略(Policy)指的是代理人根據目前的狀態決定下一個動作的方針，具體來說就是在某個狀態下採取某個動作的機率。Policy Gradient的目的是找到一個最優策略，使得整個任務的回報值最大化。

策略通常表示為一個帶有參數的函數 π_𝜃​(𝑠,𝑎)，其中 𝑠 是當前狀態，𝑎 是行動，𝜃 是策略的參數，Policy Gradient算法通過梯度上升法調整這些參數 𝜃，以最大化期望回報值。

以遊戲為例：首先代理人到一個遊戲畫面(狀態) 𝑠₁，決定採取第一個動作(例如左移) 𝑎_1，之後得到回饋值 𝑟₁ = 0；再來，代理人看到下一個畫面 𝑠₂，決定開火 𝑎₂，得到回饋值 𝑟₂ = 5，．．．，一直到遊戲結束。一場遊戲稱為 episode，整個遊戲過程的回報值以 𝑅 來表示，即 𝑅 = ∑^𝑇_𝑡=1 𝑟_𝑡，目的就是得到最大的 𝑅。而整個串起來，軌跡 Trajectory，就是：𝜏 = {𝑠₁,𝑎₁,𝑠₂,𝑎₂,...,𝑠_𝑇,𝑎_𝑇}。

因此可以假設得到上面這個 Trajectory 的機率為：(得到 𝑠₁ 狀態的機率) * (在 𝑠₁ 狀態下採取 𝑎₁ 這個動作的機率) * (在 𝑠₁ 狀態並且採取 𝑎₁ 的動作下與環境互動能得到 𝑠₂ 的機率)．．．，一直乘下去直到這場遊戲結束。而(得到 𝑠₁ 狀態的機率)是無法控制的，可以控制的是(在 𝑠₁ 狀態下採取 𝑎₁ 這個動作的機率)，這取決於代理人的參數 𝜃，我們就是要調整參數 𝜃 讓 𝑅 的值愈大愈好。

所以窮舉所有可能出現的 Trajectory，並且把此 Trajectory 的 𝑅 與出現此 Trajectory 的機率相乘做加總，得到採取這組 𝜃 參數所得到的期望回報值。得到期望回報值後，就可以透過梯度上升法最大化目標函數，更新參數 𝜃 進而更新模型。(數學式子在此不細講，詳見參考文章)

參考

• 《強化式學習：打造最強 AlphaZero 通用演算法》
• 李宏毅_DRL Lecture 1: Policy Gradient (Review)—shaoeChen
• Policy gradient 原理說明—Darwin的AI天地
• 【强化学习】Policy Gradient算法详解—shura_R
• ChatGPT

小結

繼續趕路，繼續留腳印(XD)，雙十國慶假日愉快！