[参考译文] AM62A7：运行 AI 模型时显示闪烁

尊敬的 Jialin：

闪烁可能是由系统过载引起的。

当闪烁时、MSC0和 MSC1上有什么负荷？ 如何选择 DDR？

TI 模型与您自己的模型之间的系统负载是否有区别？

我注意到你的 管道里有滴定器和视频。 使用 tiscaler 而不是 tiovxmultiscaler 有什么具体原因 吗？ 您是否知道可以使用 LDC 来旋转图像： https://e2e.ti.com/support/processors-group/processors/f/processors-forum/1418598/faq-tda4vm-vpac-ldc-configuration-for-image-flipping-tda4x-am6xa?

此致、

建中

您好、建中：

根据你的建议、我们进行了以下尝试：

1.我们使用了一个更简单的管道：

v4l2src device=/dev/video3 io-mode=5 ! \
video/x-bayer, width=2160, height=1784, format=bggr12, framerate=54/1 ! \
queue leaky=2 ! \
tiovxisp sensor-name=SENSOR_OX3C \
dcc-isp-file=/opt/imaging/ox8d/wdr/dcc_viss_wdr.bin \
sink_0::dcc_2a_file=/opt/imaging/ox8d/wdr/dcc_2a_wdr.bin sink_0::device=/dev/v4l-subdev2 format-msb=11 \
sink_0::pool-size=2 src::pool-size=2 ! \
queue leaky=2 ! tiovxmultiscaler ! video/x-raw,format=NV12, width=1920, height=720 ! queue leaky=2 max-size-buffers=1 ! \
kmssink driver-name=tidss async=false sync=false can-scale=false pq-file=/usr/local/apd/manifest/ECU_CMS/pq_config.json gamma-set=0

也有闪烁

2.我们使用了 顶部 和 Perf_stats 为了观察系统负载、未发现异常、详细信息如下：
TI 模型：

我们自己的模型：

3、 我们发现、只要我们在流水线中使用 MSC (tiovxmutiscaler 或 tiovxmosaic)、就 会出现闪烁。 但是、当移除 tiovxmutiscaler 和 tiovxmosaic 或  用 tiscaler 替换 tiovxmutiscaler 时、闪烁会消失。

4.我们用过 滴定剂 因为在某些情况下我们需要增加图像的大小、 视频 对该问题没有任何影响。

问题：

1.我们在系统负载方面没有发现 TI 和我们自己的模型之间的区别。 这里是否有我们未观察到的任何其他负载？

2.我们必须使用 MSC ,这样我们就只能优化模型。 您是否有关于模型端优化的建议？

尊敬的 Jialin：

根据您的以下观察、这似乎与显示相关：

• 使用 udpsink 在 PC 上显示、显示正常。
• 较简单的流水线也存在闪烁问题

我注意到一些插件属性不在最初打包在 SDK 中的 kmssink 中、例如 pq-file、gamma。 您是否修改了 kmssink？

您能否使用默认参数尝试原始 kmssink 并查看是否存在闪烁？

谢谢你。

建中

尊敬的建中：

我们用默认参数替换了原始 kmssink、也会闪烁。

此致、

Jialin

尊敬的建中：

 今天、我们与 Adam Hua 沟通、并将 为 TI 专家提供复制方法来确定问题。
复制步骤：
0、环境：9.2 SDK

1.拆开附件的包装 test.zip 板上。 解压缩文件位于以下目录中、用于我们自己的模型推理。

2.授予文件可执行权限,并运行程序。

chmod +x ./10_01_tx
./10_01_tx

之后、您可以在终端中看到日志。  

3.运行 Gstreamer 管道在另一个终端,你可以看到闪烁。

我们自己电路板中的参考流水线：

v4l2src device=/dev/video3 io-mode=5 ! \
video/x-bayer, width=2160, height=1784, format=bggr12, framerate=54/1 ! \
queue leaky=2 ! \
tiovxisp sensor-name=SENSOR_OX3C \
dcc-isp-file=/opt/imaging/ox8d/wdr/dcc_viss_wdr.bin \
sink_0::dcc_2a_file=/opt/imaging/ox8d/wdr/dcc_2a_wdr.bin sink_0::device=/dev/v4l-subdev2 format-msb=11 \
sink_0::pool-size=2 src::pool-size=2 ! \
queue leaky=2 ! tiovxmultiscaler ! video/x-raw,format=NV12, width=1920, height=720 ! queue leaky=2 max-size-buffers=1 ! \
kmssink driver-name=tidss async=false sync=false can-scale=false

以上是我们开发板上的简单复制。

test.zip ： e2e.ti.com/.../8053.test.zip

谢谢你。

Jialin

尊敬的 Jialin：

传感器不是同一个、 亚当华,你有 OX3C 在你身边运行这项测试吗?

谢谢、

建中

尊敬的建中：

我也没有。 但我会尝试 imx219来看看我是否能看到同样的现象.

你(们)好  

由于错误、无法运行您的应用程序：

root@am62axx-evm:/opt/test# ./10_01_tx 
[2025-05-21 18:54:03.916] ./10_01_tx: error while loading shared libraries: libopencv_core.so.405: cannot open shared object file: No sy

请检查您使用的 OpenCV 版本：

root@am62axx-evm:/opt/test# opencv_version 
[2025-05-21 18:54:30.586] 4.9.0

此致、

Adam

尊敬的 Adam Hua：

  我们使用的 SDK 为9.2、OpenCV 为4.5、请确保您所使用的 SDK 版本。

  也许可执行文件的名称误导了您、认为它是10.1

谢谢您、

Jialin

尊敬的 Jialin：

我无法在 EVM 上重现您的问题。 没有显示屏撕裂问题。

我的负载：

应用程序的日志10_01_tx

我正在运行显示器相关应用程序：

root@am62axx-EVM：/opt/edgeai-gst-apps #./apps_cpp/bin/Release/app_edgeai configs//object_detection.yaml

因为我没有您使用的图像传感器、所以我运行 run_app_viss.sh、在虚拟实例上生成巨大的负载。  

但是、这里有一些可疑之处：对于 MSC 和 VISS、图像尺寸2160x1784 @54应该能达到208MP/s、但您的负载要比这小得多。 这意味着 MSC 的输出帧速率低于54Hz。 如果您的显示器配置为以54Hz 的频率运行、则可能存在一些同步问题。  

此致、

Adam

你(们)好  

Unknown 说：

但当删除 tiovxmutiscaler 和 tiovxmosaic 或  用 tiscaler 替换 tiovxmutiscaler 时、闪烁消失。

您是否还可以在使用 tiscaler 时检查系统负载？

此致、

Adam

你(们)好  

另请查看此链接：

https://e2e.ti.com/support/processors-group/processors/f/processors-forum/1410891/am62a7-q1-3840x2160-unable-to-run-vpac-with-viss-and-ldc-at-30-fps

MSC 相关插件存在一些问题。 请尝试该链接中的修补程序。

此致、

Adam

尊敬的 Adam：

 我们在测试中使用了另一个摄像头模块(1920x1280@60fps)、这时也会闪烁。 系统负载似乎也正确。

测试流水线：

gst-launch-1.0 v4l2src device=/dev/video3 io-mode=5 ! video/x-bayer, width=1920, height=1280, format=bggr12, framerate=60/1 ! queue leaky=2 ! tiovxisp sensor-name=SENSOR_OX3C dcc-isp-file=/opt/imaging/ox03c-60/wdr/dcc_viss_wdr.bin sink_0::dcc_2a_file=/opt/imaging/ox03c-60/wdr/dcc_2a_wdr.bin sink_0::device=/dev/v4l-subdev2 format-msb=11 sink_0::pool-size=2 src::pool-size=2 ! queue leaky=2 ! tiovxmultiscaler ! video/x-raw,format=NV12, width=1920, height=720 ! queue leaky=2 max-size-buffers=1 ! kmssink driver-name=tidss async=false sync=false src-w=1920 src-h=720 can-scale=false

系统负载：

我们将尽快在该链接中尝试修补程序、 并给出结果。

谢谢、

Jialin

尊敬的 Adam：

 由于、我们无法在修补程序中编译代码 无成员错误：
 

 中定义了 tivx_vpac_msc_input_params_t  

/usr/include/processor_sdk/imaging/kernels/include/TI/hwa_vpac_msc.h、但没有

名为 is_enable_simul_processing 的成员

是否可以将修补程序应用到版本9.2？

你(们)好

此补丁不适用于9.2、但可以作为参考。 顺便说一下、您是否可以不涉及 x3c 或其他传感器模块来重现此问题？ 我们现在只有 imx219。

此致、

Adam

尊敬的 Adam：

 我们也无法使用 IMX219在 EVM 上重现该问题、 它仅出现在我们自己的电路板中。

 但同时运行流水线和 TI 模型时、一切都正常、但使用我们自己的模型运行时、它不起作用。  这里似乎系统负载没有异常。 这让我们感到非常困惑。

 我们将 再次检查与 KMS 的 fps。 您还有其他建议吗？

谢谢、

Jialin

尊敬的 Jialin：

Unknown 说：

您是否有任何其他建议

现在没有太多的想法。 但是、如果您可以提供一种在没有所需传感器的情况下在 EVM 上重现该技术的方法、将会有很大帮助。

此致、

Adam

尊敬的 Adam：

 我们将 SDK 升级到10.1、闪烁似乎消失了。 但是、这里还有另一个问题。

 当我们运行 并同时执行以下流水线时、流水线将在10秒后冻结。

gst-launch-1.0 \
v4l2src device=/dev/video3 io-mode=5 ! \
video/x-bayer, width=1920, height=1280, format=bggr12, framerate=60/1 ! \
queue leaky=2 ! \
tiovxisp sensor-name=SENSOR_OX3C_100 \
dcc-isp-file=/opt/imaging/ox03c/wdr/dcc_viss_wdr.bin \
sink_0::dcc_2a_file=/opt/imaging/ox03c/wdr/dcc_2a_wdr.bin sink_0::device=/dev/v4l-subdev2 format-msb=11 \
sink_0::pool-size=2 src::pool-size=2 ! \
queue leaky=2 ! \
tiovxldc dcc-file=/opt/imaging/ox03c/wdr/dcc_ldc_wdr.bin sensor-name=SENSOR_OX3C_100 \
sink_0::pool-size=2 src::pool-size=2 ! \
video/x-raw, format=NV12, width=1280, height=1920,framerate=60/1 ! queue leaky=2 ! \
tiovxmultiscaler name=split_0 src_0::roi-startx=0 src_0::roi-starty=0 src_0::roi-width=1280 src_0::roi-height=1920 target=0 \
src_1::roi-startx=0 src_1::roi-starty=0 src_1::roi-width=1280 src_1::roi-height=1920 target=1 \
interpolation-method=16385 \
split_0. ! queue ! \
video/x-raw, width=1280, height=1920 ! \
tiscaler roi-startx=284 roi-starty=1310 roi-width=800 roi-height=400 method=0 ! \
video/x-raw, width=1280, height=720, framerate=60/1 ! mosaic_0. \
split_0. ! queue ! \
video/x-raw, width=640, height=720 ! mosaic_0. \
tiovxmosaic name=mosaic_0 target=0 src::pool-size=4 \
sink_0::startx="<640>" sink_0::starty="<0>" sink_0::widths="<1280>" sink_0::heights="<720>" \
sink_1::startx="<0>" sink_1::starty="<0>" sink_1::widths="<640>" sink_1::heights="<720>" ! \
video/x-raw,format=NV12, width=1920, height=720 ! queue leaky=2 max-size-buffers=1 ! \
kmssink driver-name=tidss 

 在该状态下、9.2不会出现此现象、系统负载10.1与9.2相同。

 我们特别发现：

 1.它似乎与最不发达国家有关。 当我们移除 LDC 时、不再出现这种现象。

 2.单独运行流水线也不会有这个问题。

这可能与相关 共享内存 ？ 能否提供一些方法来 检查共享内存的使用情况或有关此问题的一些建议？  

尊敬的 Jialin：

请 按如下方式运行：

gst_debug_file=/run/trace.log gst_debug_no_color=1 gst_debug=5 gst-launch-1.0 ……

这将启用更多日志并将其保存到/run/trace.log. 如果您捕获此问题、请上传日志。

此致、

Adam

尊敬的 Adam：

日志有点大。 流水线在运行大约10秒后被阻止。 一旦库存完毕、我们立即停止流水线操作。

/cfs-file/__key/communityserver-discussions-components-files/791/4130.trace.log

我们发现 vpac 无法正常工作

谢谢、

Jialin

尊敬的 Jialin：

很抱歉、我无法从链接下载。 请重新上传日志。  

Unknown 说：

我们发现 vpac 无法正常工作

你怎么知道 vpac 不工作?

此致、

Adam

尊敬的 Adam：

 这是日志、e2e.ti.com/.../5123.trace.log

因为 vpac、msc 和 LDC 上没有系统负载

谢谢、

Jialin  

尊敬的 Jialin：

仔细检查您的日志后、我没有发现任何相关错误。  

Unknown 说：

1. 它似乎与最不发达国家有关。 当我们移除 LDC 时、此现象不再出现。

在运行应用之前、您是否可以通过运行/opt/vision_app_init.sh 来启用 R5F 日志？

Unknown 说：

单独运行流水线也不会出现此问题。

运行此流水线意味着什么？ 您是否启动了其他应用程序、一旦启动了其他应用程序、就 会出现这种现象？

此致、

Adam  

尊敬的 Adam：

运行此流水线意味着什么？ 您是否启动了其他应用程序、一旦启动了其他应用程序、就 会出现这种现象？

此致、

是的、一切似乎都正常。 但是、当我们在其他终端启动自己的 AI 模型时、 10秒内就会出现这种现象。

Unknown 说：

在运行应用之前、您是否可以通过运行/opt/vision_app_init.sh 来启用 R5F 日志？

我们尝试了它、这里是日志。  此错误与问题无关。 因为此误差在正常条件下也是输出误差。

谢谢、

Jialin

您好、Jialin

您的其他应用程序似乎确实会影响 gstreamer 流水线。 这种现象与模型有什么关系吗？ TI 模型也有这个问题吗？

此致、

Adam

尊敬的 Adam：

  此现象与模型无关、AI 模式运行 正常。

我看到、您能提供重现方法吗？ 如果我们这边可以重现问题、我们可以提供更好的帮助。 这里没有 x3c。 那么、您可以使用文件读取方法吗？

此致、

Adam

尊敬的 Adam：

 我们无法通过文件在 EVM 上重现它、因为它似乎 与 tiovxldc 插件相关。 当我们移除它时、一切都正常。

 那么、是否有办法从文件读取数据并将其输出到 tiovxldc？

或者、与 LDC 插件相比、是否有任何其他方法可以将图像旋转90度？ 我们尝试使用 videoflip、但 fps 显著下降。

谢谢、

Jialin

尊敬的 Adam：
 根据昨天的会议讨论、我们作出了以下两项努力：

1、将 DDR 频率提高到3200MHz 时,视频流流水线冻结的现象 仍然存在。

2. 从算法供应商和 TI Model Zoo 中量化和编译模型。 使用供应商的算法 将导致冻结、而使用 TI 模型则不会。
 下一步的建议调试策略是什么？ 此外、会议期间还提到、可以通过安保部进行图像轮换。 我们的要求是将图像逆时针旋转90度。 您能否提供一些技术支持或参考资料？

此致、

Yangtian

尊敬的 Yangtian：

您能否执行一些与您在 该主题中提供的内容类似的 DDR 基准测试？ 当运行摄像头流水线和 AI 时、最好了解 DDR 负载。 您可以做的是：

1. 在无任何运行时测量 DDR
2. 仅运行摄像头流水线时测量 DDR。 与#1的差异将为您提供摄像头流水线的 DDR 负载。
3. 仅运行 AI 模型时测量 DDR。  与#1的差异将为您提供 AI 的 DDR 负载。
4. 以上总和是 DDR 负载。

我在内部检查了有关存储器错误的信息。 这看起来是一些内存损坏。  

Divyansh Mittal、您是否对使用 DSS  逆时针旋转图像90度有任何意见。

此致、

建中

您好、

遗憾的是、DSS 没有在内部旋转帧的机制、此任务必须由用户空间应用程序本身执行。