PyTorch：为什么我的条件推理。扩散模型（Palette）总是导致错误的预测？

Question

我正在尝试实施 Palette，这是一个条件扩散模型，我在推理算法方面遇到了一些问题。目前，我只是想用它来模拟一个非常简单的数据集，所有相同的输入图像只是输出的缩小版本。

我试过以下：

1. 推理算法与第 11 页论文中概述的完全相同。但是，这总是会导致完全黑色的输出，并带有一点噪声（一些彩色像素，并非到处都是）。打印张量时，我看到这些值偏离非常正或非常负的值。所以，我觉得那里有些不对劲。
2. 在实现 Palette 的这个存储库中实现的推理算法。但是，这总是导致前半部分迭代首先变黑，然后突然变成一个非常嘈杂的怪异输出版本。

训练算法运行良好。损失减少。所以，噪音的预测一定是有点正确的，但我觉得推理算法不正确。我不明白为什么我会得到这些奇怪的输出推理迭代...

有没有人有实施扩散模型的经验，可以为推理算法提供一些指导？

顺便说一句，如果相关的话，我正在使用 PyTorch Lightning。

我尝试实现上述推理算法。他们给出了非常奇怪的输出。我希望噪声会像扩散模型中应该发生的那样逐渐消除。