Trust Region Policy Optimization教學 - Part 1
閱讀時間約 1 分鐘
首先定義符號：
因此我們有
其中
再定義State Avtion Value.Function、Value Function和Advantage Function分別為：
接著我定義
此外觀察上述定義，能有
因此我有以下展開
這時回顧
因此我有
結合之後得到
移項之後得到
接著我把最後一項的期望值展開
稍微調整一下位置
然後我定義Discounted Visit Probability
因此我有
這告訴我們一件重要的事情：如果我要判斷新的Policy是否有比較好，只須要判斷對所有狀態下，如果有以下情況的話
則新的Policy會較優。
這同時也說明，更新策略為
此外要如何判斷已經達到最佳的Policy了呢？
只需要確保在新的Policy之下，其能達到的狀態和所有能採取的動作，都不再能造成正的
則說明已經達到最佳Policy
170會員
452內容數
這裡將提供： AI、Machine Learning、Deep Learning、Reinforcement Learning、Probabilistic Graphical Model的讀書筆記與演算法介紹，一起在未來AI的世界擁抱AI技術，不BI。
留言0
查看全部
你可能也想看
Google News 追蹤
嘿，大家新年快樂~ 新年大家都在做什麼呢？
跨年夜的我趕工製作某個外包設計案，在工作告一段落時趕上倒數。
然後和兩個小孩過了一個忙亂的元旦。在深夜時刻，看到朋友傳來的解籤網站，興致勃勃熬夜體驗了一下，覺得非常好玩，或許有人玩過了，但還是想寫上來分享紀錄一下~
主要來講宣告函式跟箭頭函式 :
宣告函式（Function Declaration）
語法：
function functionName(parameters) {
return result;
}
特點：
使用 function 關鍵字
函式名稱是必需的
存在函式
上篇內容討論到篩選機制ARTIS算法，這次將剩下的篩選機制與權重計算方式看完，做優點缺點比較。
瞭解人生決策過程中的關鍵能力，包括把握人生精度、看透世界本質、提升決策品質、思維進化與重啟、領導/管理智慧鑑識以及精進商業模式。學習在判斷力、思考維度、槓桿和深度思考方面提高自己的能力，同時改變思維模式和成功經營模式，挑戰自我，在市場競逐中找到關鍵的能力。
這是一篇討論「日常使用」詞語意義與定義的文章，從多個角度探討了定義的來源、日常使用詞語的定義及解釋力等議題。文章中提到了詞語定義的主觀性，以及透過不同詮釋方式帶來的影響。
嘿，大家新年快樂~ 新年大家都在做什麼呢？
跨年夜的我趕工製作某個外包設計案，在工作告一段落時趕上倒數。
然後和兩個小孩過了一個忙亂的元旦。在深夜時刻，看到朋友傳來的解籤網站，興致勃勃熬夜體驗了一下，覺得非常好玩，或許有人玩過了，但還是想寫上來分享紀錄一下~
主要來講宣告函式跟箭頭函式 :
宣告函式（Function Declaration）
語法：
function functionName(parameters) {
return result;
}
特點：
使用 function 關鍵字
函式名稱是必需的
存在函式
上篇內容討論到篩選機制ARTIS算法，這次將剩下的篩選機制與權重計算方式看完，做優點缺點比較。
瞭解人生決策過程中的關鍵能力，包括把握人生精度、看透世界本質、提升決策品質、思維進化與重啟、領導/管理智慧鑑識以及精進商業模式。學習在判斷力、思考維度、槓桿和深度思考方面提高自己的能力，同時改變思維模式和成功經營模式，挑戰自我，在市場競逐中找到關鍵的能力。
這是一篇討論「日常使用」詞語意義與定義的文章，從多個角度探討了定義的來源、日常使用詞語的定義及解釋力等議題。文章中提到了詞語定義的主觀性，以及透過不同詮釋方式帶來的影響。