OpenCV 的 Warp Affine 与 Photoshop 相比质量较低

Question

我想使用 OpenCV 的

cv2.warpAffine

功能从 CelebA 图像（1024x1024 大小）转换和对齐检测到的人脸（320x240 大小），但转换后图像的质量明显低于我尝试在 Photoshop 中手动对齐它时的质量： （左图是Photoshop变换的，右图是OpenCV变换的）

我使用了 OpenCV 的所有插值技术，但它们的质量都无法接近 Photoshop。

我使用的代码是：

warped = cv2.warpAffine(image, TRANSFORM_MATRIX, (240, 320), flags=cv2.INTER_AREA)

可能是什么问题导致转换后的图像质量如此之低？

如果需要，这里有一个指向原始 1024x1024 图像的链接。

Answer 1

问题及一般解决方案

您正在对信号进行下采样。

方法始终相同：

• 低通去除高频成分
• 重新采样/抽取

不该做什么

如果您不进行低通，您将得到锯齿。你注意到了这一点。混叠意味着采样步骤可能完全错过一些高频分量（边缘/角/点/...），从而产生那些奇怪的伪影。

如果您在重采样之后进行低通，它不会解决问题，只会隐藏它。损害已经造成了。

如果您对一些强烈对比的线条的规则网格进行下采样，您可以让自己相信这两个方面。尝试交替使用黑白单像素线以获得最佳效果。

实施

PIL 等库会在重采样之前隐式进行低通处理。

OpenCV 没有（一般来说有点）。即使使用 Lanczos 插值（在 OpenCV 中），您也无法跳过低通，因为 OpenCV 的 Lanczos 具有固定系数。

OpenCV 具有

INTER_AREA

，这是一种线性插值，但它另外对角样本之间的区域中的所有像素求和（而不是仅对这四个角进行采样）。这可以省去额外的低通步骤。

这是

cv.resize(im, (240, 240), interpolation=cv.INTER_AREA)

的结果：

这是

cv.warpAffine(im, M[:2], (240, 240), interpolation=cv.INTER_AREA)

 与 

M = np.eye(3) * 0.25

（等效缩放）的结果：

看来

warpAffine

不能做INTER_AREA

。这对你来说很糟糕:/

如果您需要使用 OpenCV 进行下采样，并且它是

2 的幂，您可以使用 pyrDown

。这会进行低通和抽取……因子为两倍。重复使用可以给你更高的力量。

如果您需要任意下采样，并且出于某种原因不喜欢

INTER_AREA

，则必须对输入应用 

GaussianBlur

。西格玛需要与比例因子成（反）比例。高斯滤波器的西格玛与所得截止频率之间存在某种关系。如果您不想任意选择一个值，您将需要进行更多调查。查看 

pyrDown

 的内核，以及它最匹配的高斯西格玛。对于 0.5 的比例因子来说，这可能是一个不错的值，其他因素应该成（反）比例。

对于简单的缩小，一个高斯模糊就可以了。对于仿射扭曲和更高的变换，您需要应用低通，以尊重所查找的每个像素的不同比例，因为它们在源图像中的“支持”不再是正方形，甚至可能不是矩形，而是任意四边形！

我没说什么？

这适用于

向下采样。如果您向上采样，请不低通。