首先定义强化学习的目标:$maximizeJ({\pi }_{\theta })=E_{\tau \sim {\pi }_{\theta }}[R(\tau )]$也就是找到一个策略可以最大化累计奖励。其中是${\pi }_{\theta }$用$\theta$参数化的策略。

那么策略梯度的目标就是寻找一个最好的$\theta$去达到目标。其更新方式就是:${\theta }_{k+1}={\theta }_k+\alpha \nabla J({\pi }_{\theta }){|}_{{\theta }_k}$。

那么$J({\pi }_{\theta })$的导数形式是如何呢？下面就来推导一下
$$\begin{gathered} \nabla J({\pi }_{\theta })=\nabla E_{\tau \sim {\pi }_{\theta }}[R(\tau )]={\int }_{\tau }P(\tau |\theta )R(\tau ) \\ ={\int }_{\tau }\nabla P(\tau |\theta )R(\tau ) \end{gathered}$$
其中$P(\tau |\theta )={\rho }_0(s_0){\prod }_{t=0}^{T}P(r_{t+1},s_{t+1}|s_t,a_t){\pi }_{\theta }(a_t|s_t)$，因为里面包含连乘，所以将其转换一下形式，变成如下形式:
$logP(\tau |\theta )=log{\rho }_0(s_0)+{\sum }_{t=0}^T[logP(r_{t+1},s_{t+1}|s_t,a_t)+log{\pi }_{\theta }(a_t|s_t)]$
那么对$\theta$求导可得如下形式
${\nabla }_{\theta }logP(\tau |\theta )={\sum }_{t=0}^T{\nabla }_{\theta }log{\pi }_{\theta }(a_t|s_t)$
然后${\nabla }_{\theta }P(\tau |\theta )和{\nabla }_{\theta }logP(\tau |\theta )$可以通过这样一个变化联系起来:${\nabla }_{\theta }P(\tau |\theta )=P(\tau |\theta ){\nabla }_{\theta }logP(\tau |\theta )$。
所以，将其带回到上面的$\nabla J({\pi }_{\theta })$中可得:
$$\begin{gathered} {\nabla }_{\theta }J({\pi }_{\theta })={\int }_{\tau }{\nabla }_{\theta }P(\tau |\theta )R(\tau ) \\ ={\int }_{\tau }P(\tau |\theta ){\nabla }_{\theta }logP(\tau |\theta )R(\tau ) \\ =E_{\tau \sim \theta }[{\nabla }_{\theta }logP(\tau |\theta )R(\tau )] \\ =E_{\tau \sim \theta }[\sum _{t=0}^T{\nabla }_{\theta }log{\pi }_{\theta }(a_t|s_t)R(\tau )] \end{gathered}$$
与是我们就得到了最简单的一个策略梯度的形式。因为这里是期望，所以我们可以通过采样来估计这个期望，假设我们收集到了D组轨迹数据，那么这个${\nabla }_{\theta }J({\pi }_{\theta })$可以通过如下形式计算：
${\nabla }_{\theta }J({\pi }_{\theta })=\frac{1}{|D|}{\sum }_{\tau \sim D}{\sum }_{t=0}^T{\nabla }_{\theta }log{\pi }_{\theta }(a_t|s_t)R(\tau )$.

那么这个最简单的策略梯度有什么缺点呢？我们通过公式可以看出，其对于每个动作（不管好坏）更新的幅度（比例）都是一样的，因为后面都是乘以一个$R(\tau )$，而这个值无法分别反映每个动作的价值。
所以，在这里，一个很自然的想法就是对于每个动作，后面都乘以其相应执行后得到的奖励即可。所以上面的形式就转为如下：
${\nabla }_{\theta }J({\pi }_{\theta })=\frac{1}{|D|}{\sum }_{\tau \sim D}{\sum }_{t=0}^T{\nabla }_{\theta }log{\pi }_{\theta }(a_t|s_t){\sum }_{t^{\prime }=t}^{T}R(s_{t^{\prime }},a_{t^{\prime }},s_{t^{\prime }+1})$.
这种形式也称为Reward-to-go policyGradient。因为每个动作后面乘以的是从当前动作执行后后续的所有奖励累计。

但是,虽然这种形式比最开始的形式估计的要好点，但是还是没有到好的动作更新的多点，差的动作更新的少点。 因为${\sum }_{t^{\prime }=t}^{T}R(s_{t^{\prime }},a_{t^{\prime }},s_{t^{\prime }+1})$是由t时刻开始后面所有动作的奖励组成，所以，如果当前的动作好，但是累计奖励小（后面的动作差），那么这个动作更新的幅度并不会很大，反之，如果当前的动作很差，但是累计奖励大（后面的动作好），那么这个动作更新的幅度反而会大。

那么我们如何再改进这个形式呢？首先，先引出了一个EGLP引理，这个引理说的是导数的期望是0，即：$E_{x\sim P_{\theta }}[{\nabla }_{\theta }log{P}_{\theta }(x)]=0$
下面我们证明一下这个引理：
$$\begin{gathered} \because {\int }_x{P}_{\theta }(x)=1 \\ \therefore {\nabla }_{\theta }{\int }_x{P}_{\theta }(x)=0 \\ \therefore 0={\nabla }_{\theta }{\int }_x{P}_{\theta }(x)={\int }_x{\nabla }_{\theta }{P}_{\theta }(x)={\int }_x{P}_{\theta }(x){\nabla }_{\theta }log{P}_{\theta }(x) \\ =E_{x\sim P_{\theta }}[{\nabla }_{\theta }log{P}_{\theta }(x)] \end{gathered}$$
那么根据这个引理，我们可以知道对任意的函数$f(y)$，$E_{x\sim P_{\theta }}[{\nabla }_{\theta }log{P}_{\theta }(x)f(y)]=0$。
那么，我们就可以在上面的${\nabla }_{\theta }J({\pi }_{\theta })$中加入可以解决上述问题的一些函数。比如状态价值函数$V_{\pi }(s_t)$。

这样一个仅与状态有关的函数$f(x)$，我们称它为baseline。
所以上面的形式就转为如下：
${\nabla }_{\theta }J({\pi }_{\theta })=E_{\tau \sim \theta }[{\sum }_{t=0}^T{\nabla }_{\theta }log{\pi }_{\theta }(a_t|s_t)({\sum }_{t^{\prime }=t}^{T}R(s_{t^{\prime }},a_{t^{\prime }},s_{t^{\prime }+1})-f(s_t))]$.
在这里，baseline最常用的是状态价值函数$V_{\pi }(s_t)$。当baseline为状态价值函数的时候，可以减小策略梯度估计的方差，从而获得更快、更稳定的策略学习。从直觉上来说，这里选择了这个状态价值函数以后，后面的${\sum }_{t^{\prime }=t}^{T}R(s_{t^{\prime }},a_{t^{\prime }},s_{t^{\prime }+1})-f(x)$相当于是这个动作与平均动作的好坏。

所以，策略梯度可以写成下面这样的一般形式：
$${\nabla }_{\theta }J({\pi }_{\theta })=E_{\tau \sim \theta }[\sum _{t=0}^T{\nabla }_{\theta }log{\pi }_{\theta }(a_t|s_t){\Phi }_t]$$
其中${\Phi }_t$可以是$R(\tau )$,或者是${\sum }_{t^{\prime }=t}^{T}R(s_{t^{\prime }},a_{t^{\prime }},s_{t^{\prime }+1})$,或者${\sum }_{t^{\prime }=t}^{T}R(s_{t^{\prime }},a_{t^{\prime }},s_{t^{\prime }+1})-f(s_t)$,或者$Q_{{\pi }_{\theta }}(s_t,a_t)$又或者是$A_{{\pi }_{\theta }}(s_t,a_t)=Q_{{\pi }_{\theta }}(s_t,a_t)-V_{{\pi }_{\theta }}(s_t,a_t)$
虽然每个选择都会具有不同的方差，但是最终的期望值都是一样的。
在这里要说明的是，$A_{{\pi }_{\theta }}(s_t,a_t)$也称为优势函数，描述的是当前执行的动作相比于其它动作的平均好坏（是对于当前策略而言).

详细信息（推导）可以参考：SpinningUp