【深度强化学习 DRL 快速实践】异步优势演员评论员算法 (A3C)

Asynchronous Advantage Actor-Critic A3C (2016, DeepMind)

异步优势演员评论员算法 (A3C): 继承 actor-critic 的优势，同时通过异步多线程 (团队作战) 加速了训练过程

• model-free, on-policy, actor-critic, stochastic 策略

A3C 网络更新

Critic 网络更新: ${\theta }^v$

Critic 通过最小化价值函数的损失来学习 (不熟悉 TD 的先看专栏下对应的那篇~)：

$$L_{\text{value}}=(r_t+\gamma V(s_{t+1})-V(s_t){)}^2$$

Actor 网络更新: ${\theta }^{\mu }$

Actor 通过最大化期望回报来更新，使用 Advantage 来减少 PG 的方差 (不熟悉 policy gradient 的先看专栏下对应的那篇~)：

$$L_{\text{policy}}=-\log \pi (a_t|s_t)A(s_t,a_t)$$

其中 Advantage $A(s_t,a_t)$ 可以估计为：

$$A(s_t,a_t)=r_t+\gamma V(s_{t+1})-V(s_t)$$

总的损失函数

通常，A3C 的总损失函数包含三部分：

• 策略损失（Policy Loss）
• 价值损失（Value Loss）
• 熵正则化项（Entropy Loss，用来增加探索性）

完整的目标函数为：

$$L=L_{\text{policy}}+c_1{L}_{\text{value}}-c_{2}H(\pi (s_t))$$

其中：

• $H(\pi )$ 是策略的熵，鼓励策略探索
• $c_1,c_2$ 是权重系数

参考资料：A3C详解