为什么模型没有在keras中使用预训练的vgg16进行学习？

Question

我正在使用Keras提供的预训练的VGG 16模型，并将其应用于SVHN dataset，这是一个10类0-10的数据集。网络没有学习，并且一直停留在0.17准确性。有些事情我做错了但我无法认出来。我开展培训的方式如下：

import tensorflow.keras as keras

## DEFINE THE MODEL ##
vgg16 = keras.applications.vgg16.VGG16()

model = keras.Sequential()
for layer in vgg16.layers:
   model.add(layer)

model.layers.pop()

for layer in model.layers:
   layer.trainable = False

model.add(keras.layers.Dense(10, activation = "softmax"))


## START THE TRAINING ##
train_optimizer_rmsProp = keras.optimizers.RMSprop(lr=0.0001)
model.compile(loss="categorical_crossentropy", optimizer=train_optimizer_rmsProp, metrics=['accuracy'])
batch_size = 128*1

data_generator = keras.preprocessing.image.ImageDataGenerator(
    rescale = 1./255
)


train_generator = data_generator.flow_from_directory(
        'training',
        target_size=(224, 224),
        batch_size=batch_size,
        color_mode='rgb',
        class_mode='categorical'
)

validation_generator = data_generator.flow_from_directory(
        'validate',
        target_size=(224, 224),
        batch_size=batch_size,
        color_mode='rgb',
        class_mode='categorical')

history = model.fit_generator(
    train_generator, 
    validation_data = validation_generator, 
    validation_steps = math.ceil(val_split_length / batch_size),
    epochs = 15, 
    steps_per_epoch = math.ceil(num_train_samples / batch_size), 
    use_multiprocessing = True, 
    workers = 8, 
    callbacks = model_callbacks, 
    verbose = 2
)

我做错了什么？有什么东西我错过了吗？我期待一个非常高的准确性，因为它从imagenet承载重量，但它从第一个时期卡在0.17精度。

Answer 1

我假设您正在对32x32 MNIST类图像进行上采样以适应VGG16输入，在这种情况下您应该实际执行的操作是删除所有密集层，这样您就可以输入任何图像大小，就像在卷积层中一样，权重是不可知的到图像大小。

你可以这样做：

vgg16 = keras.applications.vgg16.VGG16(include_top=False, input_shape=(32, 32))

我认为应该是构造函数的默认行为。

当您对图像进行上采样时，最好的情况是基本上模糊它，在这种情况下，您必须考虑原始图像的单个像素对应于上采样的一个像素，而VGG16的滤波器是3个像素宽，所以在换句话说，你正在失去图像的功能。

没有必要像原始VGG16那样在末尾添加3个密集层，您可以尝试使用代码中的相同图层。