GAN 模型训练数据不足 - 寻求增强方法

Question

我目前正在训练生成对抗网络（GAN）模型，我面临着一些挑战。我有一个大约 100 个骨盆 MRI 切片的数据集，但这个数据量似乎不足以训练一个稳健的 GAN 模型。我从 GAN 得到的结果并不令人满意。

我的问题有两个：

有效训练 GAN 模型所需的典型图像数量是多少？ 是否有任何推荐的数据增强方法可以帮助我扩展数据集或有可能提高 GAN 模型的性能？ 任何建议或指导将不胜感激。预先感谢您！

Answer 1

关于“有效训练 GAN 模型所需的典型图像数量是多少？”的问题事实上，很难确定一个具体的数字来保证有效的培训。模型的性能取决于多种因素，例如数据多样性、颜色、形状、质量等。许多 GAN 实现使用 ImageNet 或 CIFAR 等数据集，其中包含各种不同的图像，包括动物、行星、汽车等。然而，对于医学图像，例如 MRI，不同数据之间的变化很微妙，并且图像通常是灰度的。

我建议参考标题为 “用有限数据训练生成对抗网络”的论文。这篇论文解决了 GAN 性能不佳的问题，主要归因于判别器过度拟合。作者提出了“自适应判别器增强”方法来解决这个问题。他们的实验还包括对 BRECHAAD 等医学图像数据集进行测试。 论文链接：

https://arxiv.org/pdf/2006.06676.pdf