我的卷积神经网络过度拟合

Question

我构建了一个简单的卷积神经网络，用于手势图像识别，使用背景减法使手在屏幕上呈现黑色背景的白色形状。它大部分是使用 keras Conv2D 构建的。我的数据集有 1000 张用于训练的图片和 100 张用于验证和测试的图片。奇怪的是，这个问题在第一个时期之后立即出现，在此期间模型的损失大幅下降。它通常会在第二个纪元开始时从 183 这样的大数字下降到 1。数据集中的所有图片都是我自己使用cv2手工制作的，但我只是用我自己的手进行了测试，所以应该没有任何问题。如果数据集出现问题，我尝试采用 3 个不同的数据集，其中一个使用 cv2 的 Canny 方法，该方法本质上是追踪手的一条线，并将图片的其余部分设为黑色，看看是否有影响。不管怎样，同样的事情继续发生。此外，我在不同的地方添加了多个 Dropout 层来查看效果，但总是会发生同样的事情，损失急剧减少，并且显示出过度拟合的迹象。我还实现了 EarlyStopping 和多层来看看是否有帮助，但似乎总是会发生相同的结果。

model = Sequential()
model.add(Conv2D(32, (3,3), activation = 'relu',
    input_shape = (240, 215, 1)))
model.add(MaxPooling2D((2,2)))
model.add(Dropout(0.25))
model.add(Conv2D(64, (3,3), activation = 'relu'))
model.add(Conv2D(64, (3,3), activation = 'relu'))
model.add(MaxPooling2D((2,2)))
model.add(Dropout(0.25))
model.add(Conv2D(128, (3,3), activation = 'relu'))
model.add(MaxPooling2D((2,2)))
model.add(Dropout(0.25))
model.add(Conv2D(256, (3,3), activation = 'relu'))
model.add(MaxPooling2D((2,2)))
model.add(Dropout(0.25))
 #model.add(Conv2D(256, (3,3), activation = 'relu'))
 #model.add(MaxPooling2D((2,2)))
 #model.add(Conv2D(128, (3,3), activation = 'relu'))
 #model.add(MaxPooling2D((2,2)))
 #model.add(Conv2D(64, (3,3), activation = 'relu'))
 #model.add(MaxPooling2D((2,2)))
model.add(Flatten())
model.add(Dense(150, activation = 'relu'))
 #model.add(Dropout(0.25))
 #model.add(Dense(1000, activation = 'relu'))
model.add(Dropout(0.75))
model.add(Dense(6, activation = 'softmax'))
model.summary()
model.compile(optimizer = 'adam', loss = 'categorical_crossentropy',
        metrics = ['acc'])
callbacks_list = [EarlyStopping(monitor = 'val_loss', patience = 10),
        ModelCheckpoint(filepath = 'model.h6', monitor = 'val_loss',
        save_best_only = True),]

代码的注释部分是我尝试实现的更改。我还对它们的 Dropout 值和位置进行了很大的改变，但没有任何重大变化。谁能就我的模型为什么这么快就过度拟合提供任何建议？

Answer 1

是的，这是一个明显的过度拟合案例。以下是我的建议：

1. 尝试减少隐藏层
2. 将 dropout 增加到 0.5
3. 创建更多合成图像或对原始图像应用转换。

Answer 2

在处理如此大规模的过拟合现象时，一个好的起点是减少层数。

虽然你在多次最大池化后添加了

Dropout

，但你仍然会遇到过拟合现象。

下面我提出一些我的建议：

1. 确保您拥有带有清晰标签的全面数据集。 无论我们如何调整神经网络，如果 数据集不干净，我们无法获得好的结果。
2. 添加（一开始），最多3堆卷积+ max_pooling + dropout。 (32 + 64 + 128) 将是一个好的开始 点。
3. 使用

   GlobalAveragePooling2D

   代替

   Dense

   图层。卷积神经网络中不需要后者，除了 最后一层带有

   sigmoid

   或

   softmax

   。
4. 尝试使用

   SpatialDropout2D

   。与典型的

   Dropout

   相比， 应用于特征图中的每个元素，SpatialDropout 会丢弃整个特征图。
5. 尝试使用数据增强。通过这种方式，您可以创建更多的人工示例，并且您的网络将不太容易过度拟合。
6. 如果这些都不起作用，请确保您使用预先训练的网络并将迁移学习应用于您手头的任务。