CVPR2019|Rob-GAN:结合对抗攻击者的GAN

一．研究动机

自2014年Goodfellow等人提出生成式对抗网络(Generative Adversarial Networks,GAN)以来，关于GAN稳定训练的研究层出不穷，其中较为突出的是2017年提出的Wasserstein GAN[1]以及2018年提出的SN-GAN[2]。其共同动机都是通过使鉴别器满足利普希茨（Lipschitz）限制条件（也就是让鉴别器更加鲁棒），从而提高模型的收敛速度以及稳定性。对抗训练(Adversarial training)作为提高模型鲁棒性的经典算法，被作者有效地结合至GAN的训练过程中并将结合后的模型命名为Rob-GAN。实验表明Rob-GAN不仅能促使GAN的训练更加稳定、生成结果更加逼真而且还缩减了对抗训练在训练集和测试集上的性能差距。另外，作者还从理论上分析了这一结果的本质原因。

二．模型架构

首先我们来思考第一个问题：为什么GAN 能够改善对抗训练在测试集和训练集上的性能差距？在回答这个问题之前我们先来简单看一下对抗训练的过程。
对抗训练分为攻击者和防御者，攻击者是指通过对输入样本添加一些小的扰动来“欺骗”分类器，让其输出错误的分类结果。论文中作者采用了PGD[3]攻击算法来产生对抗样本，损失函数如(1)所示。其中x+δ表示对输入样本x添加一些小的扰动，f(x+δ,w)是收到扰动后分类器的输出结果。

对于攻击者而言希望受到扰动后的分类器能输出尽可能错的分类结果，也就是和真正的分类结果的损失要尽可能大。当然，有攻击者就肯定会有防御者，与攻击相比，防御是一项更艰巨