预训练模型的过度拟合

Question

我在小麦的 RGB 图像上使用了 2 个模型，将它们分为 107 个类别。我使用的预训练模型是 Resnet-101 、 EffecientNet_v2_l 。这两个模型都严重过度拟合。

Resnet：TrainAcc = 92% Val Acc：84% 有效网络：TrainAcc = 89% ValAcc：76%

我还有与种子的每个 RGB 图像相对应的 HSI 图像。为此，我使用了 XceptionNet 的架构并从头开始训练它。

Xception：TrainAcc = 97% ValAcc：58%

请告诉我如何克服这种类型的过度拟合，我真的很想知道为什么几乎完全准确的 XceptionNet 表现却如此糟糕

提前致谢！

我尝试了各种方法，例如降低学习率，增加dropout，但都失败了。

Answer 1

首先，您可以降低优化器的学习率值。此外，还有一些改进训练的建议。它们只是一些输入：

• 数据增强，一种人为（通常是动态）增加训练数据集大小的技术。对图像应用变换，例如旋转、翻转、平移、缩放和光照条件的变化。
• 正则化，除了dropout层之外，还可以考虑使用L1和L2正则化技术。在某些情况下，这些惩罚可能会阻止您的模型拟合噪声。
• Early Stopping：监控训练期间的验证损失。当您看到它开始增加而训练损失仍在减少时，这表明您的模型过度拟合。将

  patience

  值设置为 10 epoch。