如果loss的学习曲线没有呈现下降趋势怎么办？

Question

我训练了我的模型 2000 个步骤，每个步骤对应于参数的升级，需要 9000 个步骤才能完成整个训练集。然而，除了第一个纪元开始时的下降之外，损失曲线并没有呈现下降趋势，而是在小范围内徘徊。我应该停下来做出一些改变，还是应该继续训练？如果曲线没有出现下降趋势，我应该什么时候停止？ 我用google colab，用自己的钱付费，我必须考虑到成本，不能冒险拿钱继续训练，没有确定性。我正在寻找一般建议，并感谢任何帮助。

Answer 1

我不确定 StackOverflow 是否是此类查询的最佳平台，但以下一些想法可能会有所帮助：

• 尝试调整你的超参数（例如尝试不同的学习率）
• 尝试实施 L1 或 L2 正则化以防止模型过度拟合
• 标准化/扩展您的所有数据
• 尝试不同的模型

祝你好运！