[UDP接收器需要在udp发送器之前启动

Question

[我正在尝试使用运行Raspian Buster的摄像机将Raspberry Pi 0w的视频发送到运行Ubuntu 18.04的计算机。我正在使用ffmpeg在raspi端使用硬件对h264进行编码，然后使用gst-launch-1.0通过UDP发送数据。问题是，如果我启动raspi流，然后启动接收器，则接收器永远不会连接。如果我启动接收器，然后启动raspi流，则它们可以完美连接。

Raspi编码并发送命令：

ffmpeg -f video4linux2 -framerate 30 -video_size 1280x720 -i /dev/video0 -c:v h264_omx -b:v 2000k -f avi pipe:1 | gst-launch-1.0 --gst-debug=3 fdsrc ! udpsink host=192.168.1.142 port=8090

接收和解码并显示命令：

gst-launch-1.0 udpsrc port=8090 ! queue ! h264parse ! avdec_h264 ! xvimagesink sync=false

我查看了udpsink和udpsrc属性，并尝试在buffer-size，blocksize和sync上碰碰运气。我也尝试过使用python中的ffmpeg来查看问题是否在接收方，并且问题完全相同。

import cv2

cap = cv2.VideoCapture('udp://127.0.0.1:8090',cv2.CAP_FFMPEG)
if not cap.isOpened():
    print('VideoCapture not opened')
    exit(-1)

while True:
    ret, frame = cap.read()

    if not ret:
        print('frame empty')
        break

    cv2.imshow('image', frame)

    if cv2.waitKey(1)&0XFF == ord('q'):
        break

cap.release()
cv2.destroyAllWindows()

最后，如果没有数据包通过，我可能只写了一个小的协议来切换发送者，但是我希望UDP能更好地处理连接。

这个问题似乎很相似：UDP: Client started before Server，但由于我对gstreamer / ffmpeg没有任何阻止能力，因此无法解决我的问题。

Answer 1

如果要进行随机访问，则需要定期发送SPS / PPS数据。如果您不这样做，则只会在一开始就发送该数据。此信息对于解码H.264流至关重要。考虑在h264parse之前添加udpsink并配置其config-interval属性。

Answer 2

您走在正确的轨道上。下面是（略有修改）您的ffmpeg命令

ffmpeg -f video4linux2 -video_size 1280x720 -i /dev/video0 -c:v h264_omx -b:v 2000k -an -f mpegts udp://192.168.1.142:8090?pkt_size=1316

将视频包装到MPEG transport stream中。请注意，我在末尾添加了pkt_size=1316，以通过发送相等的数据包大小来强制UDP发送器进行UDP传输。这将有助于接收器赶上并不会溢出。

要接受，通过UDP解复用和解析MPEG TS，可以使用GStreamer命令

gst-launch-1.0 udpsrc port=8090 \
! queue max-size-buffers=10000000 max-size-time=5000000000 max-size-bytes=20000000 \
! tsdemux name=demux \
demux.video_0_0100 ! queue ! h264parse ! avdec_h264 ! autovideosink

其中demux.video_0_0100通过其PID（视频ID作为基本流）从MPEG TS中获取解复用的视频。在接收方，您可以使用命令

查找传入流的所有详细信息，包括PID。

gst-discoverer-1.0 -v -t 20 udp://0.0.0.0:8090