生成图像上的白点 CycleGAN

Question

我正在尝试实施cyclegan。然而，即使在 10 或 25 个时期之后，我生成的图像上似乎总是出现白点。我想知道可能出了什么问题？我应该继续训练，问题就会消失吗？或者有任何关于如何解决这个问题的提示吗？

图片

Answer 1

白点是由于在绘制图像时裁剪过大的模型输出值而产生的。

在 matplotlib.imshow() 的文档中说：

(...) 具有 RGB 值（0-1 float 或 0-255 int）的图像 (...) 超出范围的 RGB(A) 值将被剪裁。

如果不了解你的架构，我会：

1. 检查模型中的激活函数以及生成器的最终激活。
2. 检查你的损失函数，可能你的损失目标有利于高输出值
3. 尝试训练更多的纪元，模型可能会学会自行避免裁剪。

Answer 2

由于早期训练阶段、超参数问题或缺乏多样化的训练数据，CycleGAN 输出中可能会出现白点。继续训练，看看它是否解决，并检查学习率或规范判别器。使用黑屏背景可以帮助更有效地发现白点或伪影等显示问题，从而更轻松地解决这些问题。