为什么训练错误在不改变学习率的情况下跳跃

Question

我正在训练一个卷积网络，其中包含大约10个卷积层和一些池化层。训练集大约有250,000个样本（16,000个长度向量）。在第一个时期约50％，训练和测试错误从大约68％跃升至92％。学习率相同（批量梯度下降）。批量大小为32.导致跳跃的原因是什么，以及如何解释跳转？

Answer 1

在斯坦福的深度学习课程https://youtu.be/wEoyxE0GP2M?t=1h18m2s上找到了这张幻灯片

给出的解释是这是参数初始化不良的症状。有一段时间几乎没有学习，然后突然参数调整到正确的方向，你的准确度和/或损失都会大幅增加。