Gstreamer管道的多个实例会导致视频损坏？

问题描述

我正在尝试使用gstreamer流式传输4个视频。我可以毫无问题地传输2个视频，但是当我启动第3个gstreamer管道时，所有3个视频都损坏了。谁能告诉我为什么？

这是我给查看者的脚本/管道。

port="$((10000+$1*2))"
cmd="gst-launch-1.0 udpsrc port=${port} ! application/x-rtp,media=video,encoding-name=H264,playload=96 ! queue ! rtph264depay ! h264parse ! video/x-h264,alignment=au ! nvv4l2decoder disable-dpb=true enable-max-performance=1 ! queue max-size-bytes=0 ! videorate max-rate=30 ! queue ! nvvidconv ! nveglglessink window-width=720 window-height=480 sync=false"****

这是我的彩带管道。我为每个实例udpsrc更新了5004/5005/5006/5007端口 然后为每个实例10000/10002/10004/10006

更新udpsink端口

udpsrc port=5004 buffer-size=60000000 ! application/x-rtp,clock-rate=90000,encoding-name=H265,playload=96 ! queue ! rtph265depay ! h265parse ! video/x-h265,alignment=au ! nvv4l2decoder disable-dpb=true enable-max-performance=1 ! queue max-size-bytes=0 ! videorate max-rate=30 ! tee name=dec dec. ! queue ! nvvidconv left=240 right=1680 top=60 bottom=1020 ! video/x-raw(memory:NVMM),format=NV12,width=360,height=240,framerate=30/1 ! nvvidconv ! video/x-raw,framerate=30/1,height=240 ! shmsink socket-path=/tmp/video0 wait-for-connection=false shm-size=60000000 dec. ! queue ! nvvidconv ! video/x-raw,width=1920,height=1080,framerate=30/1 ! qtoverlay qml=qml/main.qml ! nvvidconv ! video/x-raw(memory:NVMM),format=I420,height=1080 ! omxh264enc ! video/x-h264,stream-format=byte-stream ! h264parse ! rtph264pay pt=96 ! tee name=ovl1 ovl1. !  udpsink host=127.0.0.1 port=10000 sync=false async=false***

我注意到，如果我不使用udpsink而仅使用shmsink，则视频损坏问题将消失。所以我认为解码元素有问题吗？ 这是使用shmsink

的不受影响的管道

udpsrc port=5007 buffer-size=60000000 ! application/x-rtp,alignment=au ! nvv4l2decoder disable-dpb=true enable-max-performance=1 ! queue max-size-bytes=0 ! videorate max-rate=30 ! tee name=dec dec. ! queue ! nvvidconv left=150 right=1770 top=0 bottom=1080 ! video/x-raw(memory:NVMM),framerate=30/1 ! tee name=dectimg dectimg. ! nvvidconv ! video/x-raw,height=240 ! shmsink socket-path=/tmp/video3 wait-for-connection=false shm-size=60000000 dec. ! queue ! nvvidconv ! video/x-raw,framerate=30/1 ! qtoverlay qml=qml/main.qml ! tee name=ovl ovl. ! queue ! shmsink socket-path=/tmp/camera3 wait-for-connection=false shm-size=60000000**

解决方法

编辑您的问题

请稍微整理一下您的问题，以便我们进行故障排除。

1. 设置gst启动管道的格式，以便于阅读：

udpsrc端口= 5004缓冲区大小= 60000000！
应用程序/ x-rtp，媒体=视频，时钟速率= 90000，编码名称= H265，播放量= 96！
排队！ rtph265depay！ h265parse！ video / x-h265，alignment = au！
nvv4l2decoder disable-dpb = true enable-max-performance = 1！
队列max-size-bytes = 0！ videorate最大速率= 30！ tee名称= dec

十二月！排队！ nvvidconv左= 240右= 1680顶= 60底= 1020！
video / x-raw（内存：NVMM），格式= NV12，宽度= 360，高度= 240，帧率= 30/1！
nvvidconv！视频/ x原始，帧速率= 30/1，宽度= 360，高度= 240！
shmsink套接字路径= / tmp / video0等待连接= false shm-size = 60000000

十二月！排队！ nvvidconv！ video / x-raw，width = 1920，height = 1080，framerate = 30/1！
qtoverlay qml = qml / main.qml！ nvvidconv！
video / x-raw（内存：NVMM），格式= I420，宽度= 1920，高度= 1080！
omxh264enc！ video / x-h264，stream-format = byte-stream！ h264parse！
rtph264pay pt = 96！ tee名称= ovl1

ovl1。 ！ udpsink host = 127.0.0.1 port = 10000 sync = false async = false ***

1. 简化您的管道：
   • 删除复杂元素，例如使用tee制作的主管道中的所有分支
   • 使用伪代码来帮助描述每个管道：

udpsrc->支付->解析-> GPU解码-> tee = dec

dec-> GPUconvert-> shmsink

dec-> GPUconvert-> qtoverlay-> GPUencode->解析->有效负载-> tee = ovl1

ovl1-> udpsink

1. 包括有关您遇到的错误的更多信息：
   • 错误输出是什么？
   • 损坏是在流媒体端还是在查看器端？
   • 您说腐败了到底是什么意思？
   • 程序崩溃了还是继续播放？

我最好的猜测是在没有更好信息的情况下

在“ streamer”和“ viewer”管道中都有多个使用GPU的元素，直到显示为止，它们的分辨率均为1080p。如果您在同一台计算机上运行一个或多个管道的多个实例，则它们将占用GPU内存的很大一部分。如果视频本身出现乱码，则可能是由流水线的多个实例争夺GPU上的内存空间引起的。据我从文档中得知，所有“ nv”元素和“ omx”元素都需要GPU内存。

如果是内存竞争的问题，可能的解决方案

1. 查看nvcompositor元素。它可以支持多个接收盘，并将它们合成为一个源盘（将多个帧转换为一帧）。

2. 编写实际的应用程序，而不是编写gst启动脚本。 gst-launch非常适合快速制作原型，但是很快变得笨拙，而且复杂。