GAN中的模态崩溃介绍 GAN模态崩溃|算法

先决条件：通用对抗网络
【GAN中的模态崩溃介绍】尽管生成对抗网络是非常强大的神经网络, 可以用来生成新数据, 类似于对其进行训练的数据, 但是从某种意义上说, 它只能基于单模态数据进行训练, 即依赖于其的数据变量仅包含一个分类条目。
如果生成对抗网络经过多模式数据训练, 则可以模态崩溃。模态崩溃是指网络的生成器部分仅生成有限数量的各种样本而与输入无关的情况。这意味着, 当直接在多模态数据上训练网络时, 生成器将通过仅生成有限种类的数据来学习欺骗鉴别器。
以下流程图说明了在包含猫和狗的图像的数据集上进行训练时对生成对抗网络的训练：

文章图片
以下方法可用于解决模态崩溃：

对类进行分组：解决模式崩溃的主要方法之一是根据数据中存在的不同类别对数据进行分组。这使鉴别者有能力区分子批次并确定给定批次是真实的还是假的。
预期的反作用：该方法着重于通过训练生成器以消除歧视者"追赶"生成器的情况。最大化地通过考虑歧视者的反作用来愚弄歧视者。这种方法的缺点是训练时间增加和梯度计算复杂。
从经验中学习：这种方法涉及对鉴别器进行训练, 这些鉴别器是由生成器以固定的迭代次数生成的旧的伪样本。
多个网络：该方法涉及为每个不同的类别训练多个生成网络, 从而覆盖数据的所有类别。缺点包括训练时间增加和生成数据质量的典型下降。