工具/软件：
e2e.ti.com/.../pipeline_5F00_and_5F00_statistics.zip 我们发现 tiovxldc 插件在运行双摄像头视频流流水线时对视频流水线的帧速率有影响。 我们使用的是分辨率为 1920 * 1280、帧速率为 60 的 x3c 摄像头。 摄像头分别安装为/dev/video3 和/dev/video4（在 Linux 中）。 我们分别测试了两种场景：
1.仅使用 tiovxisp 插件。
2.同时使用 tiovxisp 和 tiovxldc 插件。
在第一种情况下、视频流可以保持 60 的帧速率、而在第二种情况下、两个摄像头流水线的帧速率都会降低、并且屏幕上会出现闪烁现象。 该附件包含使用 TI 提供的检测工具打印的各种插件的帧速率和硬件负载。 我们想知道造成这种现象的原因。
您好 Yangtian、
从性能统计信息中可以看出、使用 LDC 时、DDR 负载为 5.8GB/s。
您的 DDR 的传输速率是多少？ 对于 3200MT/s、此负载的利用率接近 50%、可能导致 DDR 争用和存储器延迟、从而导致 fps 的帧率下降和图像闪烁。
此致、
建中
您好、建中、
目前、在双摄像头图像拼接过程中、有一些关于帧速率和闪烁现象的更新 注：所有摄像机都 独立工作正常。 仅当两个摄像机同时运行时才会出现此问题。 )
我们继续使用两个 ox3c 摄像头进行图像拼接、但我们将分辨率降低到 1400x1280@60fps、 DDR 保持 3200 的速率。
现象 1：
1.我们在两个不同的终端运行以下流水线。
用于 /de/video3 输出的流水线 1 在没有 LDC 的情况下无法实现：
gst-launch-1.0 v4l2src device=/dev/video3 io-mode=5 ! video/x-bayer, width=1400, height=1280, format=bggr12, framerate=60/1 ! queue leaky=2 ! tiovxisp sensor-name=SENSOR_OX3C_100 dcc-isp-file=/opt/imaging/ox03c/wdr/dcc_viss_wdr.bin sink_0::dcc_2a_file=/opt/imaging/ox03c/wdr/dcc_2a_wdr.bin sink_0::device=/dev/v4l-subdev3 format-msb=11 sink_0::pool-size=4 src::pool-size=4 ! video/x-raw, format=NV12, width=1400, height=1280,framerate=60/1 ! tiscaler roi-startx=350 roi-starty=30 roi-width=680 roi-height=1200 method=0 ! video/x-raw, width=1280, height=720, framerate=60/1 ! fakesink
用于 将/de/video4 输出到文件链接（无 LDC）的管道 2：
gst-launch-1.0 \ v4l2src device=/dev/video4 io-mode=5 ! \ video/x-bayer, width=1400, height=1280, format=bggr12, framerate=60/1 ! \ queue leaky=2 ! \ tiovxisp name=isp sensor-name=SENSOR_OX3C_100 \ dcc-isp-file=/opt/imaging/ox03c/wdr/dcc_viss_wdr.bin \ sink_0::dcc_2a_file=/opt/imaging/ox03c/wdr/dcc_2a_wdr.bin sink_0::device=/dev/v4l-subdev4 format-msb=11 \ sink_0::pool-size=4 src::pool-size=4 ! \ queue leaky=2 ! \ v4l2h264enc ! h264parse ! matroskamux ! filesink location=/home/test.mkv
我们仍然观察到 video4 的 mkv 中出现图像撕裂或屏幕闪烁
e2e.ti.com/.../tearandflicker.zip
所以图像在 ISP 之后有一些问题
2.然后我们使用 yavata 获取原始数据,在原始数据中没有发现问题。
yavta /dev/video4 -c100 -n100 -s1400x1280 -fSRGGB12 -F/home/yyt/raw/test-#.raw
现象 2：
1. 我们在终端中运行以下流水线。
gst-launch-1.0 \ v4l2src device=/dev/video4 io-mode=5 ! \ video/x-bayer, width=1400, height=1280, format=bggr12, framerate=60/1 ! \ queue leaky=2 ! \ tiovxisp name=isp sensor-name=SENSOR_OX3C_100 \ dcc-isp-file=/opt/imaging/ox03c/wdr/dcc_viss_wdr.bin \ sink_0::dcc_2a_file=/opt/imaging/ox03c/wdr/dcc_2a_wdr.bin sink_0::device=/dev/v4l-subdev4 format-msb=11 \ sink_0::pool-size=4 src::pool-size=4 ! \ queue leaky=2 ! \ tiovxldc name=ldc dcc-file=/opt/imaging/ox03c/wdr/dcc_ldc_wdr.bin sensor-name=SENSOR_OX3C_100 \ sink_0::pool-size=2 src::pool-size=2 ! \ video/x-raw, format=NV12, width=1280, height=1400,framerate=60/1 ! queue leaky=2 ! \ tiscaler name=tiscaler roi-startx=0 roi-starty=0 roi-width=1280 roi-height=1400 method=0 ! \ video/x-raw, width=1920, height=720, framerate=60/1 ! \ kmssink driver-name=tidss async=false sync=false can-scale=false
2.我们在其他终端中使用以下命令。
v4l2-ctl -d /dev/video3 --set-fmt-video=width=1400,height=1280,pixelformat=RG12 --stream-mmap --stream-loop
我们发现传感器输出的帧速率开始波动。 当我们停止 上述流水线时、帧速率 恢复 到 60fps。
注意： 当我们将“kmssink"替换“替换为“fakesink"时“时、这种现象不会发生。
根据上述测试、您是否有任何解决屏幕撕裂或闪烁问题的建议？
总之,我们的目标是确保双摄像头拼接流水线在低延迟、高帧率 (>50fps) 和正常图像质量下正常工作。
gst-launch-1.0 \ v4l2src device=/dev/video3 io-mode=5 ! \ video/x-bayer, width=1400, height=1280, format=bggr12, framerate=60/1 ! \ queue leaky=2 ! \ tiovxisp sensor-name=SENSOR_OX3C_100 \ dcc-isp-file=/opt/imaging/ox03c/wdr/dcc_viss_wdr.bin \ sink_0::dcc_2a_file=/opt/imaging/ox03c/wdr/dcc_2a_wdr.bin sink_0::device=/dev/v4l-subdev3 format-msb=11 \ sink_0::pool-size=4 src::pool-size=4 ! \ video/x-raw, format=NV12, width=1400, height=1280,framerate=60/1 ! \ tee name=tee ! \ tiscaler roi-startx=350 roi-starty=30 roi-width=680 roi-height=1200 method=0 ! \ video/x-raw, width=1280, height=720, framerate=60/1 ! mosaic_0. \ tee. ! video/x-raw, width=1400, height=1280 ! queue leaky=2 max-size-buffers=1 ! \ videorate ! video/x-raw, framerate=30/1 ! \ fakesink \ v4l2src device=/dev/video4 io-mode=5 ! \ video/x-bayer, width=1400, height=1280, format=bggr12, framerate=60/1 ! \ queue leaky=2 ! \ tiovxisp sensor-name=SENSOR_OX3C_100 \ dcc-isp-file=/opt/imaging/ox03c/wdr/dcc_viss_wdr.bin \ sink_0::dcc_2a_file=/opt/imaging/ox03c/wdr/dcc_2a_wdr.bin sink_0::device=/dev/v4l-subdev4 format-msb=11 \ sink_0::pool-size=4 src::pool-size=4 ! \ queue leaky=2 ! \ tiovxldc dcc-file=/opt/imaging/ox03c/wdr/dcc_ldc_wdr.bin sensor-name=SENSOR_OX3C_100 \ sink_0::pool-size=2 src::pool-size=2 ! \ queue leaky=2 ! \ video/x-raw, format=NV12, width=1280, height=1400, framerate=60/1 ! \ tiovxmultiscaler name=split_0 src_0::roi-startx=30 src_0::roi-starty=10 src_0::roi-width=1220 src_0::roi-height=1380 target=0 interpolation-method=16385 ! \ video/x-raw, format=NV12, width=640, height=720 ! mosaic_0. \ tiovxmosaic name=mosaic_0 target=1 src::pool-size=4 \ sink_0::startx="<640>" sink_0::starty="<0>" sink_0::widths="<1280>" sink_0::heights="<720>" \ sink_1::startx="<0>" sink_1::starty="<0>" sink_1::widths="<640>" sink_1::heights="<720>" ! \ video/x-raw,format=NV12, width=1920, height=720, framerate=60/1 ! queue leaky=2 max-size-buffers=1 ! \ kmssink driver-name=tidss async=false sync=false can-scale=false
最棒的餐厅
Jialin
