从rtsp H.264视频流捕获单个图像

Question

我正试图从RTSP H.264视频帧按需捕获单个图像。我正在使用OpenCV和在Raspberry Pi上运行的Python。

我的理解是你不能简单地捕捉图像，而是必须不断地从视频中读取图像流并丢弃除了你想要的偶尔之外的所有图像。这在计算上非常昂贵，并且在Pi上消耗大约25％的CPU除了读取和丢弃1280x720 15 fps H.264 rtsp视频帧之外什么都不做。

还有另外一种方法吗？我很灵活，也可以使用GStreamer，FFMPEG或其他任何计算效率更高的东西。

Answer 1

您必须读取流的原因是因为H.264具有多种帧（请参阅https://en.wikipedia.org/wiki/Video_compression_picture_types），而P和B帧需要要解码的上下文。只有I帧（也称为关键帧）可以独立解码。

如果你想读取真正的任意帧，你可以解析（不解码）流，并保留自上一个I帧以来的所有内容。当您的触发器到来时，您会解码自上一个I帧以来直到当前点的流。

如果您不需要非常精确，您可以只存储最后一个I帧，并根据需要对其进行解码。这将非常快，但这意味着您可能会在错误的时间拍照。

最后，这些关键帧的频率是多少？这取决于来源。例如，C920网络摄像头默认大约每5秒生成一次，但是这个间隔可以在1到30秒之间改变（我想，这是前一段时间）

Answer 2

我做了类似的事情。这是我的代码：

def CaptureFrontCamera():
    _bytes = bytes()
    stream = urllib.request.urlopen('http://192.168.0.51/video.cgi?resolution=1920x1080')
    while True:
        _bytes += stream.read(1024)
        a = _bytes.find(b'\xff\xd8')
        b = _bytes.find(b'\xff\xd9')
        if a != -1 and b != -1:
            jpg = _bytes[a:b+2]
            _bytes = _bytes[b+2:]
            filename = '/home/pi/capture.jpeg'
            i = cv2.imdecode(np.fromstring(jpg, dtype=np.uint8), cv2.IMREAD_COLOR)
            cv2.imwrite(filename, i)
            return filename

Answer 3

回答我自己的问题。而不是使用read（）：

cap = cv2.VideoCapture('rtsp_url')

def captureimages():
    while True:
        image = cap.read()

s = threading.Thread(target=captureimages)
s.start()

if takepic == True:
    picture = image.copy()

将它分解为grab（）和retrieve（）更有效。不是一个完美的解决方案，但更好：

cap = cv2.VideoCapture('rtsp_url')

def captureimages():
    while True:
        cap.grab()

s = threading.Thread(target=captureimages)
s.start()

if takepic == True:
    picture = cap.retrieve()