强化学习系列（五）：Policy Gradient

写在前面：前面所提到的Q-value Based方法无法解决连续动作空间场景下的优化问题，因为Q-learning的策略是从多个离散动作中贪婪地选择最大Q值，在连续空间中，无法枚举所有动作。为此，本节讲述一种直接面向策略的优化方法：Policy Gradient

1. Policy Gradient

训练目标： $ \pi_\theta(s,a)=P[a|s,\theta] $
Ques: 什么样的策略算是好的策略,如何进行梯度更新
Ans:
think $ \theta $ 会影响策略 $ \pi $ , $ \pi $ 会影响episode采样路径 $ \tau={s_1,a_1,r_1,s_2,a_2,r_2,…,s_T,a_T,r_T} $ ，根据 $ \tau $ , 我们可以算出 $ R(\tau)=\sum_{n=1}^N r_n $ ，我们希望采样路径的 $ R(\tau) $ 尽可能的大
method
用采样路径的平均收益来评价一个 $ \theta $ 的好坏
$ \bar R_\theta = \sum_{\tau} R(\tau) \cdot P(\tau|\theta) \approx \frac{1}{N} \sum_{n=1}^{N} R(\tau^n) $
推导 $ \bar R_\theta $ 的梯度:
$ $ \nabla \bar R_\theta=\sum_\tau R(\tau) \nabla P(\tau|\theta)=\sum_\tau R(\tau)P(\tau|\theta) \frac{\nabla P(\tau|\theta)}{P(\tau|\theta)}=
\sum_\tau R(\tau)P(\tau|\theta)\nabla logP(\tau|\theta) \approx \frac{1}{N}\sum_{n=1}^N R(\tau^n) \nabla log P(\tau^n|\theta) $ $
其中， $ P(\tau|\theta)=p(s_1)p(a_1|s_1,\theta)p(r_1,s_2|s_1,a_1)p(a_2|s_2,\theta)… $
由此，我们有： $ log P(\tau|\theta)=logp(s_1)+\sum_{t=1}^Tlogp(a_t|s_t,\theta)+logp(r_t,s_{t+1}|s_t,a_t) $
$ \nabla logP(\tau|\theta)=\sum_{t=1}^T\nabla logp(a_t|s_t, \theta) $
由此，我们可以将policy gradient视为一个分类任务对 $ \nabla \bar R_\theta $ 进行更新

类比分类任务：

2. Actor-Critic

在Policy Gradient方法中，我们在更新 $ \nabla \bar R_\theta $ 时，借助累计收益 $ R(\tau^n) $ 作为优势估计，然而在一些情况下，虽然 $ R(\tau^n) $ 是positive的，但是效益还比不过随机效益的话，其实也是不能接受的。因此，需要add a baseline去进一步评估positive or negtive，从而更好地指导 $ \nabla logP(\tau|\theta) $ 的更新

核心思想：
（1）Actor:学习策略 $ \pi_\theta(a|s) $ ，负责决策
（2）Critic:学习一个价值函数 $ V_w(s) $ ，估计状态的“好坏”，指导 Actor 改进策略

梯度更新：
$ $ \nabla \bar R_\theta \approx \frac{1}{N}\sum_{n=1}^{N}\sum_{t=1}^{T_n}(R_\tau^n-baseline) \nabla log P_\theta(a_t^n|s_t^n) $ $
其中 $ R_\tau^n $ 可以表示为 $ E[G_t^n]=Q^{\pi_\theta}(s_t^n,a_t^n) $ ，baseline表示为 $ V^{\pi_\theta}(s_t^n) $

Ques: 需要estimate Q和V两个网络吗
Ans: 可以只estimate value network
利用 $ Q^{\pi_\theta}(s_t^n,a_t^n)=E[r_t^n + V^{\pi_\theta}(s_{t+1}^n)] \approx r_t^n + V^{\pi_\theta}(s_{t+1}^n) $
我们可以得到Advantage Function： $ Q^{\pi_\theta}(s_t^n,a_t^n)-V^{\pi_\theta}(s_t^n)=r_t^n - (V^{\pi_\theta}(s_t^n)-V^{\pi_\theta}(s_{t+1}^n)) $

summary