分享程序员开发的那些事...
更新时间：2022-10-11 23:01:42
在Part1部分，我们学习了什么是策略梯度，以及该算法的优势与劣势，在Part2部分，我们将学习到如何通过策略搜索实现策略函数的迭代优化。
目前，我们已经知道了基于策略的方法具有求解稳定、搜索效果好、以及始终保持一定的随机探索几率等优势。在本节，将首先从数学角度对相关理论知识给出解答，并给出基于TensorFlow的实现过程。
【策略搜索】
我们已经知道策略π是一个参数化函数，其结果是可以输出动作分布。
但如何评估策略是否是好的呢？策略可以被看作是一个优化问题，我们必须找到***的参数θ，来到达最大的分数函数，J(θ)。
这里有两个步骤：
通过策略评分函数J来测量策略的质量
使用策略梯度上升来找到***的策略参数，来增强我们的策略。
这个想法是，评分函数将告诉我们策略是否是好的。策略梯度上升将帮助我们找到最优的策略参数。
第一步：策略评分函数
我们使用目标函数的方法来评估策略函数的好坏。三种方法对策略优化来说都差不多，具体选择要取决于所处环境与目标。
首先，在一个回合环境中，我们可以使用起始值。计算第一次时间步的收获值（G1）。
如果我总是从状态S1开始，那么在整个过程中将能得到多少奖励呢？我们希望找出能最大化G1的策略，以帮助策略优化。
例如，在BreakOut中，当我重新开局时，这一回合总是从相同状态开始。
我们使用J1(θ)计算了分数，打掉20个砖块已经很不错了，但我仍希望能提升分数，为了完成一个目标，我需要提高行为奖励的概率分布。
在连续的环境中，我可以使用均值进行计算，以摆脱对某个特殊起始状态的依赖。每个状态价值通过概率被分别权重化（由于某些值比其他出现的更频繁）。
最后，我们可以使用没有时间步的平均奖励。这个想法主要是希望获得每个时间的最大奖励。
第二步：策略梯度上升
我们已经有了一个策略分数来告诉我们策略是不是足够好。接下来，希望找出参数θ，来最大化得分函数，这就意味着要找出最优化策略。
这一步可以通过在策略参数上执行梯度上升来完成。梯度上升是梯度下降的相反做法，只要记住梯度指向了函数的最陡峭改变的方向就可以很容易的理解。
在梯度下降过程中，我们找出函数的最陡峭的递减方向，而在梯度上升过程中，找出的是函数最陡峭的提高方向。
当需要最小化损失函数时，一般采用梯度下降；而在最大化目标函数时，一般采用梯度上升。
这一步的主要目的是找出梯度最快的提升路径，并沿着该路径进行迭代，优化策略函数。
接下来，将通过数学手段对其实现，这一部分有点难，但这是理解策略梯度上升算法的关键一步。
我们的目标是希望找出***的θ*，进而最大化分数：
我们的得分函数可以被定义为如下公式：
这个公式意味着对所有策略期望奖励进行累加。
现在，由于我们希望完成梯度上升，所以需要对得分函数进行区分。得分函数定义为如下公式的形式：
我们知道，策略参数会对行为的选择方式、结果、汇报、状态、频率等产生影响。因此，以一种确定性的方式来保证策略的提升是非常有难度的。这是由于在那些选择的瞬间，性能很大程度上依赖了行为选择与状态分布。
这两个都会受到策略参数的影响。策略参数对行为的影响很容易找到，但如何找到其对状态分布的影响呢？
因此，我们面临一个问题，当梯度依赖于很多位置因素的情况下，该如何去估计各个策略的梯度呢？
解决方案是采用策略梯度定理。这为我们提供了一个不需要对状态分布微分的梯度表达方法。
需要注意的是，我们处在一种随机策略之下，这意味着策略输出的概率分布是π(τ;θ)，进而通过考虑目前参数θ，来讲一系列的步骤进行输出。
但是对一个概率函数进行微分特别困难，除非可以把它变成对数形式，这回简化求导过程。
现在，将累加转换回期望：
如你所见，接下来，便只需要计算这个公式即可。现在，我们可以得出策略梯度的结论为：
这个策略梯度告诉我们，为了得到较高的评分，应该如何改变策略分布的参数。
R（tau）类似于标量分数：
如果R（tau）很高，这就意味着行动会带来高回报，则需要提高该动作出现的概率。
另一方面，如果R（tau）很低，便需要降低该行为出现的概率。
策略梯度将逐步朝着最有利的方向移动，以得到最高的汇报。
蒙特卡洛策略梯度：
在notebook中，我们将使用这个方法去设计策略梯度算法。由于我们的任务可以被拆分为一个个的回合，所以可以使用蒙特卡洛方法：
但是我们将面对该算法那的一个问题，由于我们仅仅在回合结束时才计算了R，并对所有的行为取平均。即使某些行为的结果非常差，如果平均分很高的话，可能也会认为这些行为都是很好的。
所以为了得到正确的策略，需要进行很多次采样，这就导致了学习的过程很漫长。
原文发布时间为：2018-07-11
本文作者：Thomas Simonini
本文来自云栖社区合作伙伴“专知”，了解相关信息可以关注“专知”