Trust Region Policy Optimization教學 - Part 1
閱讀時間約 1 分鐘
首先定義符號：
因此我們有
其中
再定義State Avtion Value.Function、Value Function和Advantage Function分別為：
接著我定義
此外觀察上述定義，能有
因此我有以下展開
這時回顧
因此我有
結合之後得到
移項之後得到
接著我把最後一項的期望值展開
稍微調整一下位置
然後我定義Discounted Visit Probability
因此我有
這告訴我們一件重要的事情：如果我要判斷新的Policy是否有比較好，只須要判斷對所有狀態下，如果有以下情況的話
則新的Policy會較優。
這同時也說明，更新策略為
此外要如何判斷已經達到最佳的Policy了呢？
只需要確保在新的Policy之下，其能達到的狀態和所有能採取的動作，都不再能造成正的
則說明已經達到最佳Policy
161會員
410內容數
這裡將提供： AI、Machine Learning、Deep Learning、Reinforcement Learning、Probabilistic Graphical Model的讀書筆記與演算法介紹，一起在未來AI的世界擁抱AI技術，不BI。
留言0
查看全部
你可能也想看
Google News 追蹤
這個秋，Chill 嗨嗨！穿搭美美去賞楓，裝備款款去露營⋯⋯你的秋天怎麼過？秋日 To Do List 等你分享！
秋季全站徵文，我們準備了五個創作主題，參賽還有機會獲得「火烤兩用鍋」，一起來看看如何參加吧～
11/20日NVDA即將公布最新一期的財報, 今天Sell Side的分析師, 開始調高目標價, 市場的股價也開始反應, 未來一週NVDA將重新回到美股市場的焦點, 今天我們要分析NVDA Sell Side怎麼看待這次NVDA的財報預測, 以及實際上Buy Side的倉位及操作, 從
Hi 大家好，我是Ethan😊
相近大家都知道保濕是皮膚保養中最基本，也是最重要的一步。無論是在畫室裡長時間對著畫布，還是在旅途中面對各種氣候變化，保持皮膚的水分平衡對我來說至關重要。保濕化妝水不僅能迅速為皮膚補水，還能提升後續保養品的吸收效率。
曾經，我的保養程序簡單到只包括清潔和隨意上乳液
請記得以我的真名呼喚我
讓我能同時聽見我所有的哭泣與歡笑
讓我覺知苦痛與喜悅同為一體
請記得以我的真名呼喚我
讓我驚慟而覺醒
也讓我的悲憫心門從此敞開
請以真名呼喚我
——節錄於一行禪師詩作，〈請以真名呼喚我〉
＊戰爭從來沒有在人類歷史中絕跡，我深感哀慟。僅以此篇祈求真正的和平、
Trust Wallet 拥有6000多万的用户，支持币种也多。那么我们能不能通过能量租赁的方式，仅花3TRX就在Trust Wallet上完成一笔USDT转账呢？答案是可以的，下面可以跟着我的步骤进行操作。
因为我们只测试波场链，因此我只在Trust Wallet上只留了TRX币和Tron的US
今天 (2023.03.19) 筆者和 Chat GPT 進行本人有史以來的第一則對話，主題是關於 trust 和 antitrust 二個單字的討論。後來，我將網頁存到平板電腦和手機的主畫面時，它就變成看起來好像是名爲 Defining Trust 的應用程式名稱。我想這樣也好，就沒有把它改回原來
參加了校友會的線上讀書會，這個月要開始讀新書，好久沒有看文學的原文書（其實非文學的原文書也很少 XD）希望本書可以重拾閱讀英文書籍的好習慣，書籍已經準備好了，這本書的相關後續更新就繼續在本文之下好了。
湧入未知，保持信念勇往直前，相信你能飛翔。
Leap into the unknown. Have faith and move forward. Believe you will fly.
你的靈魂正在呼喚你信念勇氣躍入未知，你知曉已經不能再待在原地，墨守成規。
你願意信任我嗎？
該學着不輕易相信人話，
尤其至親好友。
因為在乎，他們能說出最傷你心的話語；
因為在乎，他們亦能挑你最想听的告訴你。
你說我變得比較快樂了，
我說是你忽略了我求救的信息。
文／陳亭妘 圖／創集團提供
農曆年末，當許多公司舉辦尾牙感謝工作夥伴，創集團選擇延伸這份感謝，今年1月底舉辦3天兩夜的旅行，邀請所有集團夥伴一同前往澳門。
許多人對創集團充滿好奇，在成立的5年間，從初創6家公司逐漸成長至20家，創集團的經營模式是什麼？是什麼力量凝聚每
這個秋，Chill 嗨嗨！穿搭美美去賞楓，裝備款款去露營⋯⋯你的秋天怎麼過？秋日 To Do List 等你分享！
秋季全站徵文，我們準備了五個創作主題，參賽還有機會獲得「火烤兩用鍋」，一起來看看如何參加吧～
11/20日NVDA即將公布最新一期的財報, 今天Sell Side的分析師, 開始調高目標價, 市場的股價也開始反應, 未來一週NVDA將重新回到美股市場的焦點, 今天我們要分析NVDA Sell Side怎麼看待這次NVDA的財報預測, 以及實際上Buy Side的倉位及操作, 從
Hi 大家好，我是Ethan😊
相近大家都知道保濕是皮膚保養中最基本，也是最重要的一步。無論是在畫室裡長時間對著畫布，還是在旅途中面對各種氣候變化，保持皮膚的水分平衡對我來說至關重要。保濕化妝水不僅能迅速為皮膚補水，還能提升後續保養品的吸收效率。
曾經，我的保養程序簡單到只包括清潔和隨意上乳液
請記得以我的真名呼喚我
讓我能同時聽見我所有的哭泣與歡笑
讓我覺知苦痛與喜悅同為一體
請記得以我的真名呼喚我
讓我驚慟而覺醒
也讓我的悲憫心門從此敞開
請以真名呼喚我
——節錄於一行禪師詩作，〈請以真名呼喚我〉
＊戰爭從來沒有在人類歷史中絕跡，我深感哀慟。僅以此篇祈求真正的和平、
Trust Wallet 拥有6000多万的用户，支持币种也多。那么我们能不能通过能量租赁的方式，仅花3TRX就在Trust Wallet上完成一笔USDT转账呢？答案是可以的，下面可以跟着我的步骤进行操作。
因为我们只测试波场链，因此我只在Trust Wallet上只留了TRX币和Tron的US
今天 (2023.03.19) 筆者和 Chat GPT 進行本人有史以來的第一則對話，主題是關於 trust 和 antitrust 二個單字的討論。後來，我將網頁存到平板電腦和手機的主畫面時，它就變成看起來好像是名爲 Defining Trust 的應用程式名稱。我想這樣也好，就沒有把它改回原來
參加了校友會的線上讀書會，這個月要開始讀新書，好久沒有看文學的原文書（其實非文學的原文書也很少 XD）希望本書可以重拾閱讀英文書籍的好習慣，書籍已經準備好了，這本書的相關後續更新就繼續在本文之下好了。
湧入未知，保持信念勇往直前，相信你能飛翔。
Leap into the unknown. Have faith and move forward. Believe you will fly.
你的靈魂正在呼喚你信念勇氣躍入未知，你知曉已經不能再待在原地，墨守成規。
你願意信任我嗎？
該學着不輕易相信人話，
尤其至親好友。
因為在乎，他們能說出最傷你心的話語；
因為在乎，他們亦能挑你最想听的告訴你。
你說我變得比較快樂了，
我說是你忽略了我求救的信息。
文／陳亭妘 圖／創集團提供
農曆年末，當許多公司舉辦尾牙感謝工作夥伴，創集團選擇延伸這份感謝，今年1月底舉辦3天兩夜的旅行，邀請所有集團夥伴一同前往澳門。
許多人對創集團充滿好奇，在成立的5年間，從初創6家公司逐漸成長至20家，創集團的經營模式是什麼？是什麼力量凝聚每