神经风格迁移结果不理想

Question

我正在尝试使用神经风格迁移（NST）来可视化房屋内部改造的结果以及它根据用户的风格图像的外观。虽然我使用的代码在大多数情况下都能给我带来良好的结果，但它偶尔也会给我带来嘈杂和不相关的结果。造成这种现象的原因是什么？

上面是 NST 产生了不错的效果并且能够很好地转移麦粒肿的图像

这是 NST 过程严重失败并且仅输出噪声结果的另一种情况

此事件有任何技术名称吗？关于为什么会发生这种情况以及如何解决这个问题的技术论文和文章将不胜感激。

Answer 1

我最近开始研究不同的神经风格迁移模型。我知道的不多。但如果你正在使用艺术风格的神经算法那么我有一些建议给你。

1. 在论文中，conv4_2 输出（relu 输出）用于表示内容图像，并且他们还从白噪声生成风格化图像。因此，模型很难在保留原始内容图像的精细细节的同时生成风格化图像。对于第一次使用内容图像并修改它以生成风格化图像，有两种解决方案，或者使用像 conv2_2 这样的浅层以及 conv4_2 输出来表示内容图像。虽然你似乎没有遇到我遇到的同样的问题，因为你的图像中的一些东西非常清楚。就我而言，风格化图像很模糊。
2. 您的代码也有可能存在问题。您是否将值限制在 0 和 1 之间？或标准化输入图像？有许多 可能出错的事情。 希望这个建议能有所帮助，虽然有点晚了