损失纪元曲线看起来很奇怪。如何改进多类分类模型？

Question

我对机器学习还很陌生。我正在使用 MobileNet 训练一组图像，以进行多类分类。训练后损失历元曲线如下所示：

我不确定如何解释这一点，如果这足够好/可以接受吗？但最后有一些峰值，所以我认为它不好？如何改善这一点？

Answer 1

模型收敛时出现峰值是常见现象。 这个问题可以在许多 CNN 或基于 Transformer 的分类模型中观察到，例如“ResNet”论文中的图。

您可能还会注意到，许多损失曲线看起来非常平滑；这是因为他们采用“移动平均”来呈现更平滑的损失曲线。

因此，我建议训练更多的epoch来观察损失曲线的变化或者选择较小的学习率。此外，您可以利用检查点以最低的验证损失保存模型。