Trust Region Policy Optimization教學 - Part 1
閱讀時間約 1 分鐘
首先定義符號：
因此我們有
其中
再定義State Avtion Value.Function、Value Function和Advantage Function分別為：
接著我定義
此外觀察上述定義，能有
因此我有以下展開
這時回顧
因此我有
結合之後得到
移項之後得到
接著我把最後一項的期望值展開
稍微調整一下位置
然後我定義Discounted Visit Probability
因此我有
這告訴我們一件重要的事情：如果我要判斷新的Policy是否有比較好，只須要判斷對所有狀態下，如果有以下情況的話
則新的Policy會較優。
這同時也說明，更新策略為
此外要如何判斷已經達到最佳的Policy了呢？
只需要確保在新的Policy之下，其能達到的狀態和所有能採取的動作，都不再能造成正的
則說明已經達到最佳Policy
131會員
307Content count
這裡將提供： AI、Machine Learning、Deep Learning、Reinforcement Learning、Probabilistic Graphical Model的讀書筆記與演算法介紹，一起在未來AI的世界擁抱AI技術，不BI。
留言0
查看全部
你可能也想看
重點摘要：
1.9 月降息 2 碼、進一步暗示年內還有 50 bp 降息
2.SEP 上修失業率預期，但快速的降息速率將有助失業率觸頂
3.未來幾個月經濟數據將繼續轉弱，經濟復甦的時點或是 1Q25 季底附近
近期的「貼文發佈流程 & 版型大更新」功能大家使用了嗎？
新版式整體視覺上「更加凸顯圖片」，為了搭配這次的更新，我們推出首次貼文策展 ❤️
使用貼文功能並完成這次的指定任務，還有機會獲得富士即可拍，讓你的美好回憶都可以用即可拍珍藏！
請記得以我的真名呼喚我
讓我能同時聽見我所有的哭泣與歡笑
讓我覺知苦痛與喜悅同為一體
請記得以我的真名呼喚我
讓我驚慟而覺醒
也讓我的悲憫心門從此敞開
請以真名呼喚我
——節錄於一行禪師詩作，〈請以真名呼喚我〉
＊戰爭從來沒有在人類歷史中絕跡，我深感哀慟。僅以此篇祈求真正的和平、
Trust Wallet 拥有6000多万的用户，支持币种也多。那么我们能不能通过能量租赁的方式，仅花3TRX就在Trust Wallet上完成一笔USDT转账呢？答案是可以的，下面可以跟着我的步骤进行操作。
因为我们只测试波场链，因此我只在Trust Wallet上只留了TRX币和Tron的US
今天 (2023.03.19) 筆者和 Chat GPT 進行本人有史以來的第一則對話，主題是關於 trust 和 antitrust 二個單字的討論。後來，我將網頁存到平板電腦和手機的主畫面時，它就變成看起來好像是名爲 Defining Trust 的應用程式名稱。我想這樣也好，就沒有把它改回原來
參加了校友會的線上讀書會，這個月要開始讀新書，好久沒有看文學的原文書（其實非文學的原文書也很少 XD）希望本書可以重拾閱讀英文書籍的好習慣，書籍已經準備好了，這本書的相關後續更新就繼續在本文之下好了。
湧入未知，保持信念勇往直前，相信你能飛翔。
Leap into the unknown. Have faith and move forward. Believe you will fly.
你的靈魂正在呼喚你信念勇氣躍入未知，你知曉已經不能再待在原地，墨守成規。
你願意信任我嗎？
該學着不輕易相信人話，
尤其至親好友。
因為在乎，他們能說出最傷你心的話語；
因為在乎，他們亦能挑你最想听的告訴你。
你說我變得比較快樂了，
我說是你忽略了我求救的信息。
文／陳亭妘 圖／創集團提供
農曆年末，當許多公司舉辦尾牙感謝工作夥伴，創集團選擇延伸這份感謝，今年1月底舉辦3天兩夜的旅行，邀請所有集團夥伴一同前往澳門。
許多人對創集團充滿好奇，在成立的5年間，從初創6家公司逐漸成長至20家，創集團的經營模式是什麼？是什麼力量凝聚每
重點摘要：
1.9 月降息 2 碼、進一步暗示年內還有 50 bp 降息
2.SEP 上修失業率預期，但快速的降息速率將有助失業率觸頂
3.未來幾個月經濟數據將繼續轉弱，經濟復甦的時點或是 1Q25 季底附近
近期的「貼文發佈流程 & 版型大更新」功能大家使用了嗎？
新版式整體視覺上「更加凸顯圖片」，為了搭配這次的更新，我們推出首次貼文策展 ❤️
使用貼文功能並完成這次的指定任務，還有機會獲得富士即可拍，讓你的美好回憶都可以用即可拍珍藏！
請記得以我的真名呼喚我
讓我能同時聽見我所有的哭泣與歡笑
讓我覺知苦痛與喜悅同為一體
請記得以我的真名呼喚我
讓我驚慟而覺醒
也讓我的悲憫心門從此敞開
請以真名呼喚我
——節錄於一行禪師詩作，〈請以真名呼喚我〉
＊戰爭從來沒有在人類歷史中絕跡，我深感哀慟。僅以此篇祈求真正的和平、
Trust Wallet 拥有6000多万的用户，支持币种也多。那么我们能不能通过能量租赁的方式，仅花3TRX就在Trust Wallet上完成一笔USDT转账呢？答案是可以的，下面可以跟着我的步骤进行操作。
因为我们只测试波场链，因此我只在Trust Wallet上只留了TRX币和Tron的US
今天 (2023.03.19) 筆者和 Chat GPT 進行本人有史以來的第一則對話，主題是關於 trust 和 antitrust 二個單字的討論。後來，我將網頁存到平板電腦和手機的主畫面時，它就變成看起來好像是名爲 Defining Trust 的應用程式名稱。我想這樣也好，就沒有把它改回原來
參加了校友會的線上讀書會，這個月要開始讀新書，好久沒有看文學的原文書（其實非文學的原文書也很少 XD）希望本書可以重拾閱讀英文書籍的好習慣，書籍已經準備好了，這本書的相關後續更新就繼續在本文之下好了。
湧入未知，保持信念勇往直前，相信你能飛翔。
Leap into the unknown. Have faith and move forward. Believe you will fly.
你的靈魂正在呼喚你信念勇氣躍入未知，你知曉已經不能再待在原地，墨守成規。
你願意信任我嗎？
該學着不輕易相信人話，
尤其至親好友。
因為在乎，他們能說出最傷你心的話語；
因為在乎，他們亦能挑你最想听的告訴你。
你說我變得比較快樂了，
我說是你忽略了我求救的信息。
文／陳亭妘 圖／創集團提供
農曆年末，當許多公司舉辦尾牙感謝工作夥伴，創集團選擇延伸這份感謝，今年1月底舉辦3天兩夜的旅行，邀請所有集團夥伴一同前往澳門。
許多人對創集團充滿好奇，在成立的5年間，從初創6家公司逐漸成長至20家，創集團的經營模式是什麼？是什麼力量凝聚每