[参考译文] AM5728：视频同步器时间戳问题

您好！

我建议您在流水线中添加队列元素、设置 SYNC=false 并设置具有高度、宽度 等的电容滤波器

[引用 user="Vishal]I 无法成功更改 bebindin 以使用 ducatih264dec，不确定原因。 [/报价]

您是否在解码和编码之间添加了解析器元素？

BR
玛格丽塔

您好、Margarita、

感谢您的快速回复。 我刚刚运行了这个更新的流水线。 编码和解码之间的解析器元素缺失。 我在视频接收器输入之前添加了队列、但它似乎对在接收器上看到的低帧速率没有影响。

gst-launch-1.0 -v videotestsrc！ 视频/x-raw、宽=800、高=480、帧速率=30/1！ \
ducatih264enc！ h264parse！ ducatih264dec！ \
VIDEO/x-RAW、FORMAT=NV12、帧速率=30/1！ VPE！ VIDEO/x-RAW、FORMAT=RGB、帧速率=30/1！ \
队列！ videomixer name=Mix Sink se_0：：：alpha=1 sink_1：：：alpha=0.7！ \
waylandsink sync-false \
multifilesrc location="img.%04d.png" index=0 stop-index=1 loop=true caps="image/png、framerate=\(frame\) 30/1"！ 很棒！ 视频装饰！ 排队！ 混合。 

我还注意到 ducatih264dec 似乎调整了高度和宽度：

/GstPipeline0/GstH264Parse:h264parse0.GstPad：src：cap ="video/x-h264\、\ width\=(int\) 800\、\ height\=(int\) 480\、\ alignment\=(string\) au\、\ stream-format\(byte.\)串流...
/GstPipeline0/GstDucatiH264Dec：ducatih264dec0.GstPad：src：cap ="VIDEO/x-rain\、\ format\=(string\) NV12\、\ width\=(int\) 896\、\ height\=(int\) 576\、frame\、1帧速率.... 

如果您可以具体建议将队列元素和大写的放置位置、这将非常有帮助。

谢谢、

Vishal

您好！

请在 VPE 之前和之后的电容滤波器中添加高度、宽度属性。

您可以在编码和解码之前添加队列。

(笑声)

排队！ ducatih264enc! h264parse！ 排队！ ducatih264dec！ VPE！ VIDEO/x-RAW、width=800、height=480、format=RGB、framerate=30/1！

(笑声)

您似乎已经对 VPE 元素进行了一些更改、对吧？

我建议您在没有第二个分支(png 解码)的情况下运行流水线、并检查您一侧的行为。

BR

玛格丽塔

您好、Margarita、

是的、我使用 VPE 补丁来启用从另一个论坛帖子中获得的 RGB 输出。

我运行了以下流水线、但输出仍然是低帧速率：

gst-launch-1.0 -v videotestsrc！ 视频/x-raw、宽=800、高=480、帧速率=30/1！ \
队列！ ducatih264enc! h264parse！ 排队！ ducatih264dec！ \
VIDEO/x-RAW、宽度= 896、高度= 576！ VPE！ VIDEO/x-RAW、width=800、height=480、format=RGB、framerate=30/1！ \
队列！ videomixer name=Mix Six Sink_0：：：alpha=1！ \
航迹接收器同步=错误

我在 VPE 之前使用和不使用高度和宽度电容器来运行此操作-结果相同。 ducatih264dec 不喜欢800x480电容、因此我必须将其设置为前面提到的896x576 (不确定原因)。

没有 VPE 颜色空间转换、是否可以顺利运行用于我的用例的视频化程序？

您好、Margarita、

是的、它会运行、但它不满足我的延迟要求。 当我尝试使用来自 RTP 的我自己的编码源(与编码的 videotestsrc 相反)时、我会随着时间的推移得到一个不断增加的延迟、大约为10秒到甚至几分钟。 是否有方法可以降低此延迟或至少将其保持在较低的固定延迟？

此外、我注意到您在另一个主题中提到、AM5728上没有视频混合器、但是否有其他方法可以利用 GPU 进行视频混合？

感谢您提供的任何资源或建议。

谢谢、

Vishal

您好！

您是否尝试使用合成器元素而不是视频化合器？

您是否也可以尝试增加 VPE 元素的 num 缓冲区属性？

请同时设置(增加的值)队列属性。

BR
玛格丽塔

您好、Margarita、

感谢您的回复。

我已经尝试过以上所有建议、但输出视频的延迟仍会随着时间的推移而不断增加。

您好！

[引用 user="Vishal]GS-launch-1.0 -v videotestsrc！ 视频/x-raw、宽=800、高=480、帧速率=30/1！ \队列！ ducatih264enc! h264parse！ 排队！ ducatih264dec！ \ VIDEO/x-RAW、宽度= 896、高度= 576！ VPE！ VIDEO/x-RAW、width=800、height=480、format=RGB、framerate=30/1！ \队列！ videomixer name=Mix Six Sink_0：：：alpha=1！ \航迹接收器同步=错误[/报价]

您的用例是什么？

因为在上面的流水线中、您可以删除编码器、解析和解码器元素。 类似如下：

GST-LAUNCH-1.0 videomixer name=混音器！ 视频转换！ landsink videotestsrc pattern=Snow！ "VIDEO/x-RAW、FORMAT=AYUV、width=800、height=600、帧速率=(分数) 30/1"！ 排队！ 混频器。 videotestsrc pattern=13！ "video/x-raw、format=AYUV、width=320、height=240、framerate=(分数)10/1"！ 排队！ 混频器。

BR
玛格丽塔

我的用例涉及以 MJPEG (30fps)编码的 RTP 视频流、需要对其进行解码、我需要在其顶部覆盖一个 PNG 缓冲器(~10fps)。 我使用的具有大量延迟的流水线如下所示：

gst-launch-1.0 -v videomixer name=混音器！ 视频转换！ landsink sync-false \
udpsrc port=1234 caps="application/x-rtp、media=(string) video、loads=(int) 26、clock-rate =(int) 90000、ssrc =(guint) 2823054885"！ rtpjitterbuffer！ 很棒的酒店！ 队列最大大小缓冲区=5000！ 诱骗！ VPE！ VIDEO/x-RAW、宽度= 800、高度= 480、格式= NV12、帧速率= 30/1！ 队列最大大小缓冲区=5000！ 混频器。 \
videotestsrc pattern=1！ VIDEO/x-RAW、FORMAT=AYUV、width=320、height=240、framerate=10/1！ 队列最大大小缓冲区=5000！ 混频器。 

除了我将第二个视频分支替换为多文件 rc 和 PNG、我已确认 PNG 正在工作。 此流水线运行、但延迟似乎随着时间的推移而增加、这对于我的用例是不可接受的。 在我的用例中、我还会将 videomixer 的输出转换为 h264、然后将文件链接、而不是 waylandsink；我只是使用 wayland sink、这样我就可以在显示屏上看到延迟。 我的最终流水线看起来更像这样(但即使在这种情况下，我也会获得可变延迟)：

gs-launch-1.0 -v udpsrc port=1234 caps="application/x-rtp、media=(string) video、loads=(int) 26、clock-rate =(int) 90000、ssrc=(guint) 2823054885"！ rtpjitterbuffer！ 很棒的酒店！ 诱骗！ VPE！ \
VIDEO/x-RAW、FORMAT=RGB、width=800、height=480、framerate=30/1、 interlace-mode=progressive,像素宽高比=1/1！ \
videomixer name=Mix Six Sink_0：：：alpha=1 sink_1：：：：alpha=0.7！ 视频转换！ \
VIDEO/x-RAW、FORMAT=NV12、width=800、height=480、framerate=30/1！ \
ducatih264enc！ filesink location=test_transcode.h264 sync-true \
multifilesrc location="img.%04d.png" index=0 stop-index=1 loop=true caps="image/png、framerate=\(frame\) 10/1"！ 很棒！ 视频装饰！ 混合。 

谢谢

您好！

我建议您：
1.在文件链接元素(ts-offset 属性)中添加延迟。 您可以使用 GST-CHECK 命令检查此属性的范围。
2.禁用同步(SYNC=false)。
3.在文件链接之前，请添加！ queue max-size-bytes=65536 max-size-buffers=1000 max-size-time=0 leaky=下游！...同样、通过 GST 检查、您可以检查队列属性。
4.在管道中添加更多队列。
5.在 ducatih264enc 之后添加 h264parse 元素(在其他情况下，.h264文件可能已损坏)。


BR
玛格丽塔

您好、Margarita、

感谢您的建议。 我尝试了以下管道：

gs-launch-1.0 -v udpsrc port=1234 caps="application/x-rtp、media=(string) video、loads=(int) 26、clock-rate =(int) 90000、ssrc=(guint) 2823054885"！ rtpjitterbuffer！ 很棒的酒店！ 排队！ 诱骗！ VPE！ \
VIDEO/x-RAW、FORMAT=RGB、width=800、height=480、framerate=30/1、 interlace-mode=progressive,像素宽高比=1/1！ \
videomixer name=Mix Six Sink_0：：：alpha=1 sink_1：：：：alpha=0.7！ 视频转换！ \
VIDEO/x-RAW、FORMAT=NV12、width=800、height=480、framerate=30/1！ \
队列！ ducatih264enc! h264parse！ queue max-size=65536 max-size-buffers=1000 max-size-time=0 leaky=下游！ \
filesink location=test_transcode.h264 ts-offset=-30000000000 sync-false \
multifilesrc location="img.%04d.png" index=0 stop-index=1 loop=true caps="image/png、framerate=\(frame\) 2/1"！ 很棒！ 视频装饰！ 混合。 

它可以运行、但录制的视频文件的延迟仍然大于30-60秒、并且看起来不是恒定的。 我尝试使用 ts-offset (负和正)的值、但最终结果变化不大。

为了提供更多背景信息、传入的 RTP 流包含1920x1080 MPEG 视频、而 VPE 可向下扩展至800x480。 当我运行此流水线时、两个内核之间的 CPU 使用率接近100%。 我假设视频录像机正在利用 CPU 进行软件渲染。 这种行为是此用例的典型行为、还是视频混合器应该能够以更低的固定延迟进行处理？

谢谢、

Vishal

您好！

[引用 user="Vishal"]它运行，但录制的视频文件的延迟仍大于30-60秒，并且看起来不是恒定的。

这可能是网络问题。 您是否可以尝试流式传输较低的分辨率

是否可以增加有效载荷=96并设置编码名称(推荐)？  

[引用 user="Vishal"]传入的 RTP 流包含1920x1080 MPEG 视频[/quot]

我很困惑您正在流式传输 MPEG 或 MJPEG 或其他内容吗？

您可以使用顶部命令检查 CPU 负载是否高于可以观察到的 fps 下降。

Videomixer 元素不是 TI 元素、它是开源元素、因此我建议您通过互联网搜索使用情况等

[引用 user="Vishal"]诱骗他人！ VPE！ \ VIDEO/x-RAW、FORMAT=RGB、width=800、height=480、framerate=30/1、 interlace-mode=progressive,像素宽高比=1/1！ \[/报价]

format=RGB 是因为编码器需要 NV12格式、因此应为 NV12。 我看到有一个视频转换元素将 pngdec 的输出转换为 RGB、然后转换为 NV12。如果直接设置 NV12、该元素应该起作用。 这是额外的内存副本。

根据我的理解，您的用例是视频+png->Mix->ence->codg2分支并保存到文件中？

BR
玛格丽塔

您好、Margarita、

1.很抱歉，编码视频流在 MJPEG 中。 您对用例的理解也是正确的。

2.我不认为这是网络问题，因为没有视频同步器的到陆地和文件链接的管道运行良好。

3、如前所述、两个内核之间的 CPU 使用率高达100%。

4.我更改了 PAYLOAD=96，但这不起作用，因为 JPEG 编码对应26。

5.最初我使用 RGB，是因为我想避免将视频转换全部使用，以最大程度地减少 CPU 软件呈现。 我按照您的建议将其改回 NV12。 现在、延迟似乎更具可重现性。 但是、现在我注意到、录制大约40-50秒后、PNG 交替仍在继续录制、但后台摄像头馈送完全冻结。 它通常保持冷冻状态、但一旦我看到它恢复运行。 我尝试在视频接收器接收之前添加队列、但没有效果。 有什么想法吗？ 我使用的管道为：

gs-launch-1.0 -v udpsrc port=1234 caps="application/x-rtp、media=(string) video、loads=(int) 26、clock-rate =(int) 90000、ssrc=(guint) 2823054885"！ rtpjitterbuffer！ 很棒的酒店！ 排队！ 诱骗！ VPE！ \
VIDEO/x-RAW、FORMAT=NV12、width=800、height=480、framerate=30/1！ \
videomixer name=Mix Six Sink_0：：：alpha=1 sink_1：：：：alpha=0.7！ 视频转换！ \
VIDEO/x-RAW、FORMAT=NV12、width=800、height=480、framerate=30/1！ \
队列！ ducatih264enc! h264parse！ queue max-size=65536 max-size-buffers=1000 max-size-time=0 leaky=下游！ \
filesink location=test_transcode.h264 ts-offset=30000000000 sync-false \
multifilesrc location="img.%04d.png" index=0 stop-index=1 loop=true caps="image/png、framerate=\(frame\) 5/1"！ 很棒！ 视频装饰！ 混合。 

谢谢、

Vishal

您好！

[引用 user="Vishal"]4. 我更改了 PAYLOAD=96、但这不起作用、因为 JPEG 编码对应于26。

如果有效载荷值>=96、 则还应设置编码名称。 下面是编码-name=(string) JPEG 示例。

我在视频装饰元件之后的管道中看不到电容器滤波器。 下面是视频装饰用法示例...！  视频装饰！ 视频/x-raw、帧速率=5/1！ (笑声)

[引用 user="Vishal"]，PNG 交替模式仍会继续记录，但后台摄像机源完全冻结。 它通常保持冻结状态、但一旦我看到它恢复运行[/引述]

我不确定我是否理解这一点。

如果删除 png 分支、您会看到这个吗？

由于延迟降低、您可以在删除 ts-offset=30000000000时尝试一下吗？

BR
玛格丽塔

您好、Margarita、

对迟交的答复表示歉意。 我尝试了您的最新建议，但我之前提到的问题仍然存在。 我上次的意思是、最终输出(h264编码混合视频流)有一些延迟、但在大约40-50秒前有有效记录、之后摄像头流被冻结、但 png 分支继续通过 PNGs 的缓冲区交换。 基本上、40-50秒后的其余视频录制是具有换用 PNG 覆盖的冻结摄像头流。

是否有任何关于这种情况可能发生的建议？ 当我将摄像机流保存到直接编码到文件链接的 h264时(没有视频流)、此冻结行为不存在。 下面是我运行的流水线：

gs-launch-1.0 -v udpsrc port=1234 caps="application/x-rtp、media=(string) video、loads=(int) 26、encoding-name=(string) JPEG、clock-rate =(int) 90000、 SSRc=(guint) 2823054885"！ rtpjitterbuffer！ 很棒的酒店！ 排队！ 诱骗！ VPE！ \
VIDEO/x-RAW、FORMAT=NV12、width=800、height=480、framerate=30/1！ \
videomixer name=Mix Six Sink_0：：：alpha=1 sink_1：：：：alpha=0.7！ 视频转换！ \
VIDEO/x-RAW、FORMAT=NV12、width=800、height=480、framerate=30/1！ \
队列！ ducatih264enc! h264parse！ queue max-size=65536 max-size-buffers=1000 max-size-time=0 leaky=下游！ \
filesink location=test_transcode.h264 ts-offset=30000000000 sync-false \
multifilesrc location="img.%04d.png" index=0 stop-index=1 loop=true caps="image/png、framerate=\(frame\) 5/1"！ 很棒！ 视频装饰！ 视频/x-raw、帧速率=5/1！ 混合。 

谢谢、

1.当我尝试使用该管道时，最终输出视频全部以随机颜色混乱，在运行时，我会定期收到以下消息：

接收到无效的视频缓冲
区警告：来自元素/GstPipeline:Pipeline0/GstVideoConvert：videoconvert0：内部 GStreamer 错误：代码未实现。 请在 bugzilla.gnome.org/enter_bug.cgi 上提交错误。
其他调试信息：
./../../../gst-plugins-base-1.8.3/gst-libs/gst/video/gstvideofilter.c (292)：GST_VIDEO_FILTER_TRANSFORM ()：/GstPipeline0/GstVideoConvert：videoconvert0：

2.当我用文件 rc 替换 udpsrc 时，管道不起作用

您好、Margarita、

感谢您的快速回复。

我运行了您更新的流水线、但帧速率为5fps、因此我在视频接收器处添加了30fps 电容(用于摄像机馈送)。 同样、我看到的摄像头馈电冻结问题与我多次描述的问题相同。 但是、出于好奇、我通过 VPE 将摄像机馈送缩小到了400x240、发现延迟很小、即使在2分钟的记录后、我也看不到任何冻结。 您是否怀疑在较高分辨率而不是较低分辨率下可能导致此问题发生的任何情况？ 它是否可以与有限的 CMA/CMEM 缓冲池大小有关？

gs-launch-1.0 -v udpsrc port=1234 caps="application/x-rtp、loads=(int) 26、encoding-name=(string) JPEG"！ rtpjitterbuffer！ 排队！ 很棒的酒店！ 排队！ jpegparse！ 排队！ 极好的地方！ VIDEO/x-RAW、FORMAT=NV12、width=400、height=240、framerate=30/1！ videomixer name=Mix Sink se_0：：：alpha=1 sink_1：：：alpha=0.7！ 视频转换！ VIDEO/x-RAW、FORMAT=NV12、width=400、height=240！ 排队！ ducatih264enc! h264parse！ 排队！ filesink location=test_transcode.h264 sync-false multifilesrc location="img.%04d.png" index=0 stop-index=1 loop=true caps="image/png、framerate=\(frame\) 5/1"！ 很棒！ 混合。 

再次感谢、

您好、Margarita、

您刚才发送的管道中似乎缺少一些电容器。 我遇到未协商错误。 它从 udpsrc 中显示出来、但我认为问题是 ducatijpegdec、正如我之前遇到过的、但不确定缺少哪些电容器：

正在将管道设置为暂停...
/GstPipeline0/GstMultiFileSrc：多文件 rc0.GstPad：src：cap ="image/png\、\ width\=(int\) 1\、\ height\=(int\) 1\、\ framerate\=(caps\) 5/1\、gstpage=

(tagetr/) gstrgpense= 1、gstrandecure=/gstrgrandrity= 1 (tegr/) gstpx (tegrandecuresx)/gstrandecuresx (gstpx) gstr/(gstr/？gstrgstr/？/gstpx (gstr/？/gstpec/？gstr/？/gstr/？/gstpecr/？tecures= gstr/？) gstr/？/gstr/？tecures= gstr/？/gstr/？/gstr/？tecures=？

/GstPipeline0/GstVideoMixer2：Mix.gstVideoMixer2Pad：SINK_1：cap ="VIDEO/x-RAW\、\ format\=(string\) RGBA\、\ width\=(int\) 300\、\ height\=(int\) 300\、\、\ inter-mode-= 1) rape-mixel 1 (pixel
1)、pixel 比纹理1)...(逐行距)设置 RGB
新时钟：GstSystem 时钟
/GstPipeline:r0/GstUDPSrc：udpsrc0.GstPad：src：cap ="application/x-rtp\、\\=(int\) 26\、\编码-name\=(string\) JPEGitrfet

=/trapereperm\(string\) rptr =/pstrptr =/rtpx (rtpx) pstrfet =/rgetterpx (traperr) r000x、getterp/(trampr) pstrecr000x (traper=) rt：getteperfet =/itrt (tramp_rt) p/(traperf) pstrt) p/(traperf) p/(trampr) pstrt (tramp.t) pstr000p/(tramp.t) petrt) p/(trapps = gprt) p/(trecrt) p/(tramp.


cap ="application/x-rtp\、\ PAY\=(int\) 26\、\编码名称\=(字符串\) JPEG\、\媒体\=(字符串\)视频\、\时钟速率\=\(int\) 90000、
\ GstPipeline：fipeline 0/Gstrptp Gepay：degay：r\n gape\(trape\
) 100、gapps
=/fraines\(gestdegr)/fray\(gaper\(gest\) degr) degrate\(gest\(gest\)/fr) 1020102020d/ gape\(gape\(gaper\(gaper\)/fr)/fr) gaper\(tfr) gaper\(gest\(gest\(tfr) gest\(tfr) gest\(tfr) gest\(tfr) gest\(gest\(tfr) gest\


cap ="image/jpeg、\已解析\=\(
布尔值\) true\、\ format\=\(string\) UYVY\、\ width\=(int\) 1920\、\ height\=(int\) 1080、帧速率\=(trlofer\)/frastpin\(tore\)/frainer=
20、gest\(tore\(tex\)/degin\(tore=)/fraintrles\(tin\)/fetces\(tore=)/degines\(tore=)/degintrue\(tal\(tin\)/fet=)/frandecures\(tex\(tore=) x、gest\(trles\)/fet\(true\)/fet=)/faper\(true\(true\)/faper\(true\(true\)/fet=)/


从元素/GstPipeline:流水 线0/GstUDPSrc:udpsrc0：内部数据流错误。
其他调试信息：
./../../../gstreamer-1.8.3/libs/gst/base/gstbasesrc.c (2948)：GST_BASE_SRC_LOOP ()：/GstPipeline0/GstUDPSrc：udpsrc0：
流任务暂停、未协商原因(-4)
执行在0：00：00.297842901后结束

谢谢、

Vishal

您好、Margarita、

感谢您的建议。

添加队列泄露=在视频定时程序之前的下游，它似乎增加了在冻结之前记录的时间。 现在、它往往会在大约80秒的记录后冻结。

我尝试了您在没有 png 分支的情况下提供的流水线、这在没有冻结的情况下工作正常。

我还尝试了使用 videomixer 的流水线、而不是 png 分支我在 videtestsrc 中混合、这也提供了类似的冻结结果：

gs-launch-1.0 -v udpsrc port=1234 caps="application/x-rtp、loads=(int) 26、encoding-name=(string) JPEG"！ rtpjitterbuffer！ 排队！ 很棒的酒店！ 排队！ jpegparse！ 排队！ 极好的地方！ VIDEO/x-RAW、FORMAT=NV12、width=800、height=480！ 队列泄露=下游！ videomixer name=Mix Sink se_0：：：alpha=1 sink_1：：：alpha=0.7！ 排队！ 视频转换！ VIDEO/x-RAW、FORMAT=NV12、width=800、height=480！ 排队！ ducatih264enc! h264parse！ 排队！ 文件链接位置=test_transcode.h264 sync-false \
videotestsrc pattern=1！ \
VIDEO/x-RAW、FORMAT=ARGB、帧速率=\(分数\) 30/1、宽度= 200、高度= 200！ 混合。 

是否有其他选项可用于在 AM5728上实现此视频混合、对硬件块进行优化或 GPU 加速？

再次感谢、

Vishal

您好、Margarita、

我运行了您发送的流水线、它在我这边也能正常工作。 为了适应我的用例、我将其更改为以下内容并尝试：

GST-LAUNCH-1.0合成器名称=混合！ 排队！ 视频转换！ VIDEO/x-RAW、FORMAT=NV12、width=800、height=480！ 排队！ ducatih264enc! h264parse！ 排队！ filesink location=test_transcode.h264 sync-false udpsrc port=1234 caps="application/x-rtp、loads=(int) 26、coding-name=(string) JPEG"！ rtpjitterbuffer！ 排队！ 很棒的酒店！ 排队！ jpegparse！ 排队！ 极好的地方！ 'video/x-raw、format=(string) NV12、width=(int) 800、height=(int) 480'！ 混合。 videotestsrc pattern=18！ 'video/x-raw、format=(string) AYUV、framerate=(fraction) 30/1、width=(int) 200、height=(int) 200'！ 混合。 

同样、它会导致40秒左右后出现同样的冻结问题。 我还尝试了上述管道的一种变体(而不是 ducatih264enc -> filink)、它在录制一分钟左右后也会冻结。 请注意、我必须将 videotestsrc 的帧速率增加到30/1。 当我以5/1离开时、摄像机馈送也以5/1录入。 我尝试在摄像机馈电后添加电容器以将其修复为30/1、但我没有成功。 我尝试在 udpsrc 电容器中以及在 ducatijpegdecpe 之后添加帧速率电容器。 示例：

GST-LAUNCH-1.0合成器名称=混合！ 排队！ 视频转换！ VIDEO/x-RAW、FORMAT=NV12、width=800、height=480！ 排队！ ducatih264enc! h264parse！ 排队！ filesink location=test_transcode.h264 sync-false udpsrc port=1234 caps="application/x-rtp、loads=(int) 26、coding-name=(string) JPEG"！ rtpjitterbuffer！ 排队！ 很棒的酒店！ 排队！ jpegparse！ 排队！ 极好的地方！ 'video/x-raw、format=(string) NV12、width=(int) 800、height=(int) 480、framerate=(fraction) 30/1'！ 混合。 videotestsrc pattern=18！ 'video/x-raw、format=(string) AYUV、framerate=(fraction) 5/1、width=(int) 200、height=(int) 200'！ 混合。 

结果如下：

正在将管道设置为暂停...
管道处于活动状态，不需要 PREROLL...
正在将管道设置为正在播放...
新时钟：GstSystemClock
redistribute later...
重新分配延迟...
**
错误:gstducatividenc.c：426：gst_Ducati_videnc_configure：断言失败：(self->output_pool == NULL )
中止(转储内核)

设置 udpsrc 摄像头流的帧速率的正确方法是什么、以便视频/合成器在其接收端具有一致的30fps？

谢谢、

Vishal

你好，Vishal，

能否 使用 videomixer 元素删除管道中的 rtpjitterbuffer 元素？

BR
玛格丽塔

您好、Margarita、

我在没有 rtpjitterbuffer 的情况下尝试了以下流水线

gs-launch-1.0 -v udpsrc port=1234 caps="application/x-rtp、loads=(int) 26、encoding-name=(string) JPEG"！ 排队！ 很棒的酒店！ 排队！ jpegparse！ 排队！ 极好的地方！ VIDEO/x-RAW、FORMAT=NV12、width=800、height=480！ 队列泄露=下游！ videomixer name=Mix Sink se_0：：：alpha=1 sink_1：：：alpha=0.7！ 排队！ 视频转换！ VIDEO/x-RAW、FORMAT=NV12、width=800、height=480！ 排队！ ducatih264enc! h264parse！ 排队！ 文件链接位置=test_transcode.h264 sync-false \
videotestsrc pattern=1！ \
VIDEO/x-RAW、FORMAT=ARGB、帧速率=\(分数\) 30/1、宽度= 200、高度= 200！ 混合。 

冻结问题相同。

谢谢、

您好、Margarita、

感谢后续行动。

您提供的流水线在不冻结的情况下成功运行。 当我将 videotestsrc 分支更改为 udpsrc 分支时，在记录1分钟后出现同样的冻结问题。 我还尝试增加 udpsrc 的 buffer-size 属性、如下所示：

gs-launche-1.0 udpsrc buffer-size=2147483647 port=1234 caps="application/x-rtp、loads=(int) 26、encoding-name=(string) JPEG"！ rtpjitterbuffer！ 排队！ 很棒的酒店！ 排队！ jpegparse！ 排队！ 极好的体验！ VPE num-input-buffers=8！ VIDEO/x-RAW、FORMAT=NV12、width=800、height=480！ 队列泄露=下游！ videomixer name=Mix Sink se_0：：：alpha=1 sink_1：：：alpha=0.7！ 排队！ 视频转换！ VIDEO/x-RAW、FORMAT=NV12、width=800、height=480！ 排队！ VPE！ ducatih264enc! h264parse！ 排队！ filesink location=test_transcode.h264 sync-=false videotestsrc pattern=1！ VIDEO/x-RAW、FORMAT=ARGB、帧速率=\(分数\) 30/1、宽度= 200、高度= 200！ 混合。 

在运行时、CPU 使用率通常约为130 %、我看到内存使用率开始时约为200 MIB、随着记录的继续、内存使用率增加到360 MIB 以上。 我还没有尝试将 udpsrc 替换为 rtpsrc。

在我看来、考虑到没有使用 GPU 进行视频混合、为我的应用程序使用 videomixer 可能不是最好的方法。 我的最终目标是在 gstreamer 中的实时摄像机流的顶部叠加 QT 生成的内容、以便能够记录(编码并保存到文件中)。 我目前正在研究围绕 EGLImage 旋转的其他选项。 如果您有任何其他建议、请向我指出正确的方向。

再次感谢您的支持、

Vishal