GAN 在短短几个时期内就收敛了

Question

我在 Keras 中实现了一个生成对抗网络。我的训练数据大小约为 16,000，其中每个图像的大小为 32*32。我的所有训练图像都是针对对象检测任务从 imagenet 数据集中调整大小的图像。我将图像矩阵直接输入到网络中，而不进行中心裁剪。我使用了 AdamOptimizer，学习率为 1e-4，beta1 为 0.5，我还将 dropout 率设置为 0.1。我首先用 3000 张真实图像和 3000 张假图像训练鉴别器，它达到了 93% 的准确率。然后，我训练了 500 个 epoch，批量大小为 32。然而，我的模型似乎只在几个 epoch 内收敛（<10), and the images it generated were ugly.

损失函数图

生成器生成的随机样本

我想知道是否我的训练数据集太小（与 DCGAN 论文中的数据集相比，超过 300,000 个）或者我的模型配置不正确。更重要的是，我应该在 D 上训练 SGD 进行 k 次迭代（其中 k 很小，可能是 1），然后按照 Ian Goodfellow 在原始论文中的建议，在 G 上使用 SGD 进行一次迭代训练？（我刚刚尝试训练它们一次一个）

以下是生成器的配置。

g_input = Input(shape=[100])
H = Dense(1024*4*4, init='glorot_normal')(g_input)
H = BatchNormalization(mode=2)(H)
H = Activation('relu')(H)
H = Reshape( [4, 4,1024] )(H)
H = UpSampling2D(size=( 2, 2))(H)
H = Convolution2D(512, 3, 3, border_mode='same', init='glorot_uniform')(H)
H = BatchNormalization(mode=2)(H)
H = Activation('relu')(H)
H = UpSampling2D(size=( 2, 2))(H)
H = Convolution2D(256, 3, 3, border_mode='same', init='glorot_uniform')(H)
H = BatchNormalization(mode=2)(H)
H = Activation('relu')(H)
H = UpSampling2D(size=( 2, 2))(H)
H = Convolution2D(3, 3, 3, border_mode='same', init='glorot_uniform')(H)
g_V = Activation('tanh')(H)
generator = Model(g_input,g_V)
generator.compile(loss='binary_crossentropy', optimizer=opt)
generator.summary()

下面是判别器的配置：

d_input = Input(shape=shp)
H = Convolution2D(64, 5, 5, subsample=(2, 2), border_mode = 'same', init='glorot_normal')(d_input)
H = LeakyReLU(0.2)(H)
#H = Dropout(dropout_rate)(H)
H = Convolution2D(128, 5, 5, subsample=(2, 2), border_mode = 'same', init='glorot_normal')(H)
H = BatchNormalization(mode=2)(H)
H = LeakyReLU(0.2)(H)
#H = Dropout(dropout_rate)(H)
H = Flatten()(H)
H = Dense(256, init='glorot_normal')(H)
H = LeakyReLU(0.2)(H)
d_V = Dense(2,activation='softmax')(H)
discriminator = Model(d_input,d_V)
discriminator.compile(loss='categorical_crossentropy', optimizer=dopt)
discriminator.summary()

以下是GAN的整体配置：

gan_input = Input(shape=[100])
H = generator(gan_input)
gan_V = discriminator(H)
GAN = Model(gan_input, gan_V)
GAN.compile(loss='categorical_crossentropy', optimizer=opt)
GAN.summary()

Answer 1

我认为问题在于

loss

功能 尝试一下

loss='categorical_crossentropy',

Answer 2

我怀疑你的生成器在你训练 gan 时是可训练的。您可以通过

generator.layers[-1].get_weights()

来验证，看看gan的训练过程中参数是否发生变化。

在将鉴别器组装成 gan 之前，您应该先冻结它：

generator.trainnable = False
gan_input = Input(shape=[100])
H = generator(gan_input)
gan_V = discriminator(H)
GAN = Model(gan_input, gan_V)
GAN.compile(loss='categorical_crossentropy', optimizer=opt)
GAN.summary()

请参阅此讨论： https://github.com/fchollet/keras/issues/4674