Reinforcement Learning: 从旧策略数据到 PPO

上一篇从采样轨迹构造了 policy gradient 和 advantage estimate。这篇接着回答：策略已经变化后，旧数据还能怎么用，以及一轮更新应该走多远。沿用 $π_{θ} (a ∣ s)$ 表示当前策略， $\hat{A} (s, a)$ 表示求导时固定的 advantage estimate；轨迹记为 $τ$ ，总 reward 为 $r (τ)$ 。

有了 advantage estimate，还要决定如何使用一批轨迹更新策略。先看旧数据与当前策略之间的分布差异，再看 TRPO 和 PPO 如何限制单轮更新的幅度。

Off-Policy Policy Gradients

上一篇的梯度估计使用 on-policy 数据。但真实在训练的时候，我们很难做到稍稍改一点 $θ$ ，就重新生成一堆新的 $τ$ 。这样是非常 inefficient 的。

所以现在可能的问题是，我们没有关于 $τ \sim π_{θ}$ 的数据，但是我们可能有一个其他的 distribution，通过这个 distribution 来 sample 出的数据。也就是 $τ \sim \overset{―}{π}$ 。

我们需要使用的一个 trick 叫做 importance sampling：

\begin{aligned} E_{x \sim p (x)} [f (x)] & = \int p (x) f (x) d x \\ = \int q (x) \frac{p (x)}{q (x)} f (x) d x \\ = E_{x \sim q (x)} [\frac{p (x)}{q (x)} f (x)] \end{aligned}

所以说我们的 RL objective 可以改成：

\begin{aligned} J (θ) & = E_{τ \sim \overset{―}{π}} [\frac{π_{θ} (τ)}{\overset{―}{π} (τ)} r (τ)] \\ = E_{τ \sim \overset{―}{π}} [\frac{p (s_{1}) \prod_{t = 1}^{T} π_{θ} (a_{t} ∣ s_{t}) p (s_{t + 1} ∣ s_{t}, a_{t})}{p (s_{1}) \prod_{t = 1}^{T} \overset{―}{π} (a_{t} ∣ s_{t}) p (s_{t + 1} ∣ s_{t}, a_{t})} r (τ)] \\ = E_{τ \sim \overset{―}{π}} [r (τ) \prod_{t = 1}^{T} \frac{π_{θ} (a_{t} ∣ s_{t})}{\overset{―}{π} (a_{t} ∣ s_{t})}] \end{aligned}

所以说我们可以推导梯度

\begin{aligned} \nabla_{θ} J (θ) & = E_{τ \sim \overset{―}{π}} [\frac{π_{θ} (τ)}{\overset{―}{π} (τ)} \nabla_{θ} \log π_{θ} (τ) r (τ)] \\ = E_{τ \sim \overset{―}{π}} [(\prod_{t = 1}^{T} \frac{π_{θ} (a_{t} ∣ s_{t})}{\overset{―}{π} (a_{t} ∣ s_{t})}) (\sum_{t = 1}^{T} \nabla_{θ} \log π_{θ} (a_{t} ∣ s_{t})) (\sum_{t = 1}^{T} r (s_{t}, a_{t}))] \\ = E_{τ \sim \overset{―}{π}} [\sum_{t = 1}^{T} \nabla_{θ} \log π_{θ} (a_{t} ∣ s_{t}) (\prod_{t^{'} = 1}^{t} \frac{π_{θ} (a_{t^{'}} ∣ s_{t^{'}})}{\overset{―}{π} (a_{t^{'}} ∣ s_{t^{'}})}) \\ \cdot (\sum_{t^{'} = t}^{T} r (s_{t^{'}}, a_{t^{'}}) \prod_{t^{″} = t + 1}^{t^{'}} \frac{π_{θ} (a_{t^{″}} ∣ s_{t^{″}})}{\overset{―}{π} (a_{t^{″}} ∣ s_{t^{″}})})] \end{aligned}

完整 trajectory ratio 给出了复用数据的理论起点，但长轨迹上的乘积权重可能难以使用。接下来转向旧策略访问的 state 上的 surrogate，并限制新旧策略之间的变化。

Trust Region Policy Optimization

TRPO (Schulman et al., 2015) / Spinning Up tutorial (Achiam, 2018)。

\begin{aligned} θ_{k + 1} & = \arg max_{θ} L_{θ_{k}} (θ) \\ s.t. {\overset{―}{D}}_{KL} (θ_{k} ‖ θ) & \leq δ . \end{aligned}

其中

L_{θ_{k}} (θ) = E_{(s, a) \sim π_{θ_{k}}} [\frac{π_{θ} (a ∣ s)}{π_{θ_{k}} (a ∣ s)} {\hat{A}}^{π_{θ_{k}}} (s, a)],

{\overset{―}{D}}_{KL} (θ_{k} ‖ θ) = E_{s \sim π_{θ_{k}}} [D_{KL} (π_{θ_{k}} (\cdot ∣ s) ‖ π_{θ} (\cdot ∣ s))] .

这里的 state 分布来自旧策略的访问分布；一轮优化中，采样数据、旧策略与 advantage estimates 都固定。

Proximal Policy Optimization

PPO paper (Schulman et al., 2017) / OpenAI tutorial (Achiam, 2018) / Hugging Face tutorial (Simonini & Sanseviero, 2023)。

TRPO 这么复杂，主要是因为它的限制和 $L$ 是分开的。文章提出了两种把更新限制放进 surrogate objective 的方法：PPO-Penalty 和 PPO-Clip。

PPO-Clip

我们对式子略加修改。先记概率比

ρ_{θ} (s, a) = \frac{π_{θ} (a ∣ s)}{π_{θ_{k}} (a ∣ s)} .

那么

θ_{k + 1} = \arg max_{θ} E_{(s, a) \sim π_{θ_{k}}} [min {ρ_{θ} (s, a) \hat{A} (s, a), clip (ρ_{θ} (s, a), 1 - ϵ, 1 + ϵ) \hat{A} (s, a)}] .

其中

clip (x, l, u) = {\begin{cases} l, & x < l, \\ x, & l \leq x \leq u, \\ u, & x > u . \end{cases}

大概感性理解是这样的： $\hat{A} > 0$ 时，我们希望增大这个 action 的概率； $\hat{A} < 0$ 时，希望减小它的概率。但是当概率比沿着有利方向变化太多，就不再继续奖励这个变化。具体地，正 advantage 在 $ρ_{θ} > 1 + ϵ$ 时截平，负 advantage 在 $ρ_{θ} < 1 - ϵ$ 时截平。

它不是把所有概率比硬限制在区间里；共享参数下，其他样本的梯度仍可能继续改变这个 action 的概率。

PPO-Penalty

非常直觉的式子：

θ_{k + 1} = \arg max_{θ} {E_{(s, a) \sim π_{θ_{k}}} [ρ_{θ} (s, a) \hat{A} (s, a)] - β {\overset{―}{D}}_{KL} (θ_{k} ‖ θ)} .

但是捏，固定一个 $β$ 不一定合适。我们既想优化前面那部分，又想控制每一步离旧策略多远。那咋搞呢，就是让 $β$ 动起来。跑一段优化，就去康康这个

d = {\hat{E}}_{s \sim π_{θ_{k}}} [D_{KL} (π_{θ_{k}} (\cdot ∣ s) ‖ π_{θ} (\cdot ∣ s))] .

直觉上就是这玩意儿如果大了，就说明太远了，那我们得稍微调高一下 $β$ ；如果太小，就可以把 $β$ 搞低，允许更大的更新。

所以说我们可以定一个阈值 $d_{targ}$ ：

β \leftarrow {\begin{cases} β / 2, & d < d_{targ} / 1.5, \\ β, & d_{targ} / 1.5 \leq d \leq 1.5 d_{targ}, \\ 2 β, & d > 1.5 d_{targ} . \end{cases}

References

Achiam, J. (2018). Spinning Up in Deep Reinforcement Learning. spinningup.openai.com

Schulman, J., Levine, S., Moritz, P., Jordan, M., & Abbeel, P. (2015). Trust region policy optimization. Proceedings of the 32nd International Conference on International Conference on Machine Learning - Volume 37, 1889–1897. proceedings.mlr.press

Schulman, J., Wolski, F., Dhariwal, P., Radford, A., & Klimov, O. (2017). Proximal policy optimization algorithms. arXiv Preprint arXiv:1707.06347. arxiv.org

Simonini, T., & Sanseviero, O. (2023). The Hugging Face Deep Reinforcement Learning Class. In GitHub repository. GitHub. github.com