使用计算机视觉识别汽车的颜色并改变它们

Question

我正在修读计算机视觉课程。

项目：识别汽车的颜色并进行更改。例如：在车道上拍摄红色本田思域的照片，将红色油漆颜色更改为蓝色。应该忽略改变地面/草坪等的颜色。

现在我不知道我的方法是否是最好的，但我一直在研究如何解决这个问题

做法：

1. 设计一个CNN，用于检测和分类图片中汽车的图像。
2. 设计一个单独的CNN分类器，它将检测并分类汽车的颜色并将其与CNN连接
3. 将两个CNN连接在一起。创建一个神经网络，其中一个CNN将对颜色进行补丁方式检测，而第二个CNN将图像和车内分类。
4. 创建一个类似GAN的网络，它采用汽车的颜色。如果汽车的颜色已经是蓝色，则没有任何反应，但如果汽车的颜色是红色，那么GAN会将汽车的颜色改为蓝色。

有没有不同的方法来解决这个问题？

我想自己解决这个问题，但请指出正确的方向

Answer 1

虽然你的方法可以完成工作，但是为了改变颜色而训练几个网络看起来有点过分。

一种相当简单的方法可以是尝试将汽车分割出图像。基本上是你的步骤的精致版本1.一旦你有一个汽车的面具改变颜色很容易使用opencv。对于汽车分段，你可以看看https://github.com/matterport/Mask_RCNN。使用预先训练的版本。

另一种方法是直接训练GAN来完成整个事情，而无需经过中间步骤。看看https://junyanz.github.io/CycleGAN/。