使用 GPU 训练 ResNet 模型时发现 OMM 错误

Question

我正在使用 4GB 的 NVidia GeForce GTX 1050 ti 上训练 ResNet，图像大小为 512x320，使用 6 作为批量大小，这并不是很好。

它显示此错误：

(1) Resource exhausted:  OOM when allocating tensor with shape[6,128,256,160] and type float on /job:localhost/replica:0/task:0/device:GPU:0 by allocator GPU_0_bfc

我试图理解张量参数，第一个（6）显然是纪元数，第三个和最后一个（256,160）是图像的尺寸除以2。

我很困惑，GPU 是否有可能没有使用整个内存？

Answer 1

即使 GPU 内存不足，也会发生这种情况，我不知道原因，但是...... 不断减少批量大小，直到不能解决这个 GPU 问题。