MobileNet 没有改进

Question

我正在尝试在自定义数据集上训练 MobileNetV2，以执行图像分类任务。 基数是 864 张图像，分为 70%/20%/10%，在 3 个不同类别之间平衡。

权重是从 imagenet 预加载的，我冻结了网络并在网络底部添加了一个 GlobalAveragePooling、一个 Dropout（具有 50% 的丢弃概率）和一个具有 3 个类和 softmax 作为激活函数的密集层，因为我如果推理图像来自第一类，我希望输出层给我一个类似 (1,0,0) 的输出，依此类推。

• 图像大小：96x96（我也标准化了）
• 批量大小：32
• 学习率：0.001
• 可训练参数：3843
• 优化器：sgd（'adam' 没有提高我的准确性）
• loss：分类交叉熵
• 指标：准确性

20 个时期的训练给了我这些结果：

之后我决定尝试一些微调，只冻结网络的前 100 层。 再次训练 10 个 epoch，这就是我得到的：

我的网络过拟合，但我不知道为什么会这样，也不知道我应该怎么做才能提高我的准确性。

编辑：我还尝试使用一些源图像甚至一些数据增强来增加数据集图像，最多超过 3K 图像，但无论如何都没有成功。