Abstract

我们提出了一个通过同时训练两个模型的对抗过程来评估生成模型的新框架：一个生成模型$G$用来捕捉数据特征,还有一个用于估计这个样本是来自训练样本还是$G$的概率的判别模型$D$,$G$的训练过程是最大化$D$犯错的概率。这个框架就相当于一个minimax two-player game。再任意的$G$和$D$的函数空间，存在唯一解：$G$涵盖了训练数据的分布，，$D$恒为0.5。当$G$和$D$均被定义为MLP时，整个系统可以使用反向传播进行训练。则无论在训练或是生成样本过程中不再需要任何马尔科夫链或者展开的近似推理。通过在生成的样本上进行定性和定量的评估表明了该框架的潜力。

1 Introduction

深度学习是用来发掘一些丰富的，有层次的，能够表示对像自然图像，包含演讲的声波，自然语言语料库中的符号这样的在AI应用中遇到的各种数据的概率分布的模型。迄今为止，深度学习中最大的成功包括那些通常将一个高纬度的丰富输入映射到一个类别标签的判别模型。这些巨大的成功主要基于反向传播和dropout算法，使用有着突出梯度效果的多个线性单元。深度生成网络由于估计MLE中难搞的概率计算与策略的困难，以及生成环境中难以利用线性单元的优势作用。我们提出了一种新的生成模型估计过程来巧妙地避开这些难题。

在提到的对抗网络中，生成模型与对手进行对抗：一个判别模型学习去判别一个样本是来自模型分布还是数据分布。生成模型可以类比为一个尝试造假币并在不被发现的条件下使用的伪造团队，而检测模型可以类比为尝试检测假币的警察。这个游戏中的竞争驱动着两队提升方法直到假货与珍品无法区分。

这个框架可以为多种模型和优化算法产生特定的训练算法。在本文中，我们探索当生成模型通过经由一个MLP传递随机噪声生成样本的情况，并且判别模型也是一个MLP。我们将这种特殊网络称为对抗网络。在这种情况下，我们可以只使用非常成功的反向传播和dropout算法[17]来训练这两个模型，并只使用正向传播从生成模型中进行采样。不需要近似推理或马尔可夫链。

2 Related work

具有潜在变量的有向图模型是具有潜在变量的无向图模型的替代方案，例如受限玻尔兹曼机（RBM），深度玻尔兹曼机及其众多变体。这些模型内的相互作用被表示为非归一化势函数的乘积，通过在随机变量的所有状态进行全局求和/微分来归一化，

翻译

这个量（配分函数）和它的梯度除了最平凡的例子外，对所有的情况都是难以处理的，尽管它们可以通过马尔可夫链蒙特卡罗（MCMC）方法来估计。混合对依赖MCMC的学习算法提出了一个重要问题。

深度信念网络（DBN）是包含单个无向层和多个有向层的混合模型。虽然存在快速近似的逐层训练标准，但DBN引起与无向和有向模型相关联的计算困难。

也有人提出了不近似或限制对数似然的替代标准，例如得分匹配[18]和噪声对比估计（NCE）。这两种方法都需要将学习的概率密度解析地指定为归一化常数。请注意，在许多有趣的生成模型中，有几层潜在变量（如DBN和DBM），甚至不可能导出一个易于处理的未归一化概率密度。一些模型，如去噪自动编码器[30]和收缩自动编码器，具有与应用于RBM的分数匹配非常相似的学习规则。在NCE中，如在这项工作中一样，采用区分性训练标准来拟合生成模型。然而，生成模型本身不是用于拟合单独的判别模型，而是用于将所生成的数据与具有固定噪声分布的样本区分开。由于NCE使用固定的噪声分布，因此即使模型在观察变量的一小部分上学习到近似正确的分布，学习也会显着减慢。

最后，一些技术不涉及明确定义概率分布，而是训练生成机从所需分布中提取样本。这种方法的优点在于，这种机器可以被设计成通过反向传播来训练。最近在这一领域的突出工作包括生成随机网络（GSN）框架[5]，它扩展了广义去噪自动编码器[4]：两者都可以被视为定义参数化马尔可夫链，即，学习执行生成马尔可夫链的一个步骤的机器的参数。与GSN相比，对抗网框架不需要马尔可夫链进行采样。由于对抗网络在生成过程中不需要反馈回路，因此它们能够更好地利用分段线性单元，这提高了反向传播的性能，但在反馈回路中使用时存在无界激活的问题。最近通过反向传播来训练生成机的例子包括最近关于自动编码变分贝叶斯和随机反向传播的工作。

3 Adversarial nets

对抗网络在当模型都是MLP时应用最易直接，为了学习到生成器在数据$x$上的分布