如何以编程方式记录视频中的更改时间？

Question

例如，想象一下视频右上角有一个蓝色方块和一个红色方块的视频。每个广场内都是一封信。我只对蓝色方格的字母改变的时间感兴趣，并且有一点需要注意的是，方块将根据可能存在的其他方块移动一点（从左到右）。

我提出的一些想法是：

• 使用ffmpeg裁剪视频只显示正方形行（我的想法就是那时，视频要小得多，因此要快得多）
• 处理那些像https://pyscenedetect.readthedocs.io/en/latest/examples/usage/#detection-methods这样的裁剪图像来进行基于阈值的检测并记录变化的时间码

有没有人对如何处理这个有任何想法？我精通JavaScript和中级Python开发人员，但也很高兴听到任何其他可能提供正确功能的语言。我更喜欢开源，但也愿意听取付费解决方案。

Answer 1

如果您可以为某些处理软件（如VirtualDub等）编译示例（存根）插件，则可以获取RGB帧。它们可以用普通的C或C ++快速处理。

蓝色方块的当前内容可以描述为

struct {
  char Area[MaxY][MaxX][3];  //This is the actual square contents
  int CurWidth;  //Current width of the square (may vary if it reflects the character width)
} MyArea;

据我所知，当前位置可以描述为简单的int CurX;，MyArea的重大变化应该触发探测器，而CurX的变化不应该。

如果您可以为此构建一个小插件，我会在像Pastebin这样的地方放一个代码示例。

UPD：把它写成大脑练习。 Here the example，也将CurHeight添加到结构中。