自监督学习中损失停止减少

Question

我正在使用 SIMCLR 的 pytorch 实现，在我自己的数据集上对其进行训练。

问题是，100个epoch之后，损失从5.6下降到5.0，并且不再下降。请问这可能是什么问题，还是正常情况？

我设置的学习率为0.2，我用LARS包装优化器，eeta=0.001，批量大小为512。（使用resnet18大约200000个小图像）

正如你们所看到的，学习率相当适中，对吧？ （不是太大）。那么你认为可能是什么问题呢~

谢谢！

Answer 1

我认为learning_rate太高了，检查损失函数和补集。