[参考译文] AM62A7-Q1：当两个流水线在平台上同时运行时、会发生错误。

您好、Chris、

这些流水线在运行时是否可以单独工作？

这将有助于将您的问题发送给我们的专家。

此致、

Suren

您好、Suren、

测试后、每个流水线都可以独立运行并处于良好运行状态。

当同时运行两个使用不同 bin 文件的流水线时、会发生错误、摄像头图像在首次打开时会在帧处冻结。

我们怀疑这是 Vpac 的问题。 如何找到问题的原因？

谢谢、

Yuwei

是的、这些流水线可单独正常工作。

尊敬的 Chris、Yuwei：

您使用的是哪个版本的 SDK？ 我们已经看到 SDK 9.1及更早版本存在类似的问题。

您是分别运行两个流水线、还是在一个 GStreamer 命令中运行？ 例如、可以在一个命令中运行两个流水线：

gst-launch-1.0 v4l2src device=/dev/video3 io-mode=5 ! video/x-bayer, width=1360, height=670, format=bggr12,framerate=50/1 ! \
queue leaky=2 ! tiovxisp sensor-name=SENSOR_OX3C dcc-ispfile=/opt/imaging/ox3c/dcc_viss_wdr.bin \
sink_0::dcc-2afile=/opt/imaging/ox3c/dcc_2a_wdr.bin sink_0::device=/dev/v4l-subdev3 formatmsb=9 using-ir-mode=false sink_0::pool-size=1 src::pool-size=1 ! \
video/x-raw, format=NV12, width=1360, height=670, framerate=50/1 ! queue max-size-buffers=1 leaky=0 ! fakesink \
v4l2src device=/dev/video4 io-mode=5 ! video/x-bayer, width=2592, height=1940, format=bggi10,framerate=20/1 ! \
queue leaky=2 ! tiovxisp sensor-name=SENSOR_OX05B_RGBIR dcc-ispfile=/opt/imaging/ox05b/dcc_viss.bin \
sink_0::dcc-2afile=/opt/imaging/ox05b/dcc_2a.bin sink_0::device=/dev/v4l-subdev4 formatmsb=9 using-ir-mode=true sink_0::pool-size=1 src::pool-size=1 ! \
video/x-raw, format=NV12, width=2592, height=1940 ,framerate=20/1 ! queue max-size-buffers=1 leaky=0 ! fakesink

谢谢你。

建中

尊敬的 Jianzhong,  Suren、

SDK 的版本为08.06。 我曾经尝试过运行两条管道  分别进行设计 。 他们每个人都跑得很好。

我还尝试用一个 GStreamer 命令运行它们、就像您说的那样：  

GST-launch-1.0 v4l2src 设备=/dev/video3 IO-mode=5！ 视频/x-Bayer、宽度=1360、高度=670、格式=bggr12、帧速率=50/1！ 队列泄漏=2！ tiovxisp sensor-name=SENSOR_OX3C DCC-isp-file=/opt/imaging/ox3c/dcc_viss_wdr.bin sink_0：：dcc-2a-file=/opt/imaging/ox3c/dcc_2a_wdr.bin sink_0：：device=/dev/v4l-subdev3 format-msb=9 using-ir-mode=false sink_0：：：pool-size=1 src：：：pool-size=1！ video/x-raw、format=NV12、width=1360、height=670、帧速率=50/1！ 队列 max-size-buffers=1 leafy=0！ fakesink  v4l2src 设备=/dev/video4 IO-mode=5！ 视频/x-Bayer、宽度=2592、高度=1940、格式=bggi10、帧速率=20/1！ 队列泄漏=2！ tiovxisp sensor-name=SENSOR_OX05B_RGBIR dcc-isp-file=/opt/imaging/ox05b/dcc_viss.bin sink_0：：dcc-2a-file=/opt/imaging/ox05b/dcc_2a.bin sink_0：：：device=/dev/v4l-subdev4 format-mb=9 using-ir-mode=true sink_0：：：pool-size=1 src：：：pool-size=1！ video/x-raw、格式=NV12、宽度=2592、高度=1940、帧速率=20/1！ 队列 max-size-buffers=1 leafy=0！ fakesink

但事实 确实如此 不会  工作。 重要的是、  我想告诉您更多细节。 我希望这些详细信息可以帮助您找到我遇到的问题的原因。

1. 我已经 使用 yavta 命令 从 v4l2src 捕获原始数据并通过 DCC 工具显示它们。 请注意、 OX3C 或 OX05B 形式的原始数据都是  没错 。
2. 我将两个摄像头(名为 OX3C 和 OX05B)与 AM62A7-Q1连接。 名为 OX05B 的摄像头可以输出 IR 数据或 RBG 数据。 如果运行两个流水线(视频源是 RGB 数据和来自 OX05B 的 IR 数据)、它们会运行 很好 。 请注意、RGB 数据和 IR 数据来自 也一样 名为 OX05B 的摄像头：   
   gst-launch-1.0 v4l2src device=/dev/video4 io-mode=5！ 视频/x-Bayer、宽度=2592、高度=1940、格式=bggi10、帧速率=20/1！ 队列泄漏=2！ tiovxisp sensor-name= SENSOR_OX05B_RGBIR dcc-isp-file=/opt/imaging/ox05b/dcc_viss.bin sink_0：：dcc-2a-file=/opt/imaging/ox05b/dcc_2a.bin sink_0：：device=/dev/v4l-subdev4 format-msb=9 using-ir-mode= 对 sink_0::pool-size=1 src ::pool-size=1 ! video/x-raw、格式=NV12、宽度=2592、高度=1940、帧速率=20/1！ 队列 max-size-buffers=1 leafy=0！ fakesink  v4l2src device=/dev/video5 io-mode=5! 视频/x-Bayer、宽度=2592、高度=1940、格式=bggi10、帧速率=20/1！ 队列泄漏=2！ tiovxisp sensor-name= SENSOR_OX05B_RGBIR dcc-isp-file=/opt/imaging/ox05b/dcc_viss.bin sink_0：：dcc-2a-file=/opt/imaging/ox05b/dcc_2a.bin sink_0：：device=/dev/v4l-subdev4 format-msb=9 using-ir-mode= 错误 sink_0::pool-size=1 src ::pool-size=1 ! video/x-raw、格式=NV12、宽度=2592、高度=1940、帧速率=20/1！ 队列 max-size-buffers=1 leafy=0！ fakesink
   请注意、我 在第一种情况下使用了两个摄像头、在第二种情况下只使用了一个摄像头。  区别在于 tiovxisp 插件使用了不同的 dcc_viss.bin 和 dcc_2a.bin (帧速率、分辨率)。 因此、tiovxisp 插件是否可能仅基于处理来自摄像头的原始数据 独一无二 dcc_viss.bin、dcc_2a.bin、帧速率或分辨率？ 可能是一些 comflicts tiovxisp 插件中发生了什么？
3. 我曾经做过一些测试。 在 tiovxisp 插件中、"gst_tiovx_isp_postproce"函数用于2A 处理。 通过调试、我发现程序阻塞确实实现了 不会 函数中的计算。 那么、 VPAC 是否可能发生一些问题？

根据上述信息、问题可能不是由 v4l2src 和 fakesink 引起的、但更有可能是由 tiovlisp 引起的。 我曾经尝试检查 VPAC 是否存在某个问题、但我失败了。 您能给我一些 帮助来解决问题的原因吗？

感谢您的回答！

Chris Shawn

尊敬的建中：

我 同时从两个摄像头捕获了原始数据。

虽然您说您已在最新的 SDK (10.1)中修复了该问题、但我确实需要 SDK (8.6)、因为我们的某些功能只能支持8.6版。 希望您能给我一个补丁来解决 8.6版 SDK 上的问题。

谢谢！

Chris Shawn

您好 Chris、

在8.6和10.1之间有许多变化。 我们无法为您提供一个简单的修补程序。

此致、

建中

尊敬的建中：

我们按照建议将 SDK 版本升级到10.1、并使用以下流水线捕获摄像头视频流。

gst-launch-1.0 v4l2src device=/dev/video4 io-mode=5 ! \
video/x-bayer, width=2592, height=1944, format=bggi10,framerate=20/1  ! \
queue leaky=2 ! tiovxisp sensor-name=SENSOR_OX05B_RGBIR \
dcc-isp-file=/opt/imaging/ox05b/dcc_viss_x5b.bin \
sink_0::dcc-2a-file=/opt/imaging/ox05b/dcc_2a_x5b.bin \
sink_0::device=/dev/v4l-subdev3 format-msb=9 using-ir-mode=true \
sink_0::pool-size=1 src::pool-size=1 ! \
video/x-raw, format=NV12, width=2592, height=1944 ,framerate=20/1 ! \
fakesink

gst-launch-1.0 v4l2src device=/dev/video5 io-mode=5 ! \
video/x-bayer, width=2592, height=1944, format=bggi10,framerate=20/1 ! \
queue leaky=2 ! tiovxisp sensor-name=SENSOR_OX05B_RGBIR \
dcc-isp-file=/opt/imaging/ox05b/dcc_viss_x5b.bin \
sink_0::dcc-2a-file=/opt/imaging/ox05b/dcc_2a_x5b.bin \
sink_0::device=/dev/v4l-subdev3 format-msb=9 \
sink_0::pool-size=1 src::pool-size=1 ! \
video/x-raw, format=NV12, width=2592, height=1944, framerate=20/1 ! \
queue max-size-buffers=1 leaky=0 ! \
fakesink

gst-launch-1.0 v4l2src device=/dev/video3 io-mode=5 ! \
video/x-bayer, width=1360, height=670, format=bggr12,framerate=50/1 ! \
queue leaky=2 ! tiovxisp sensor-name=SENSOR_OX3C \
dcc-isp-file=/opt/imaging/ox3c/dcc_viss_wdr_x3c.bin \
sink_0::dcc-2a-file=/opt/imaging/ox3c/dcc_2a_wdr_x3c.bin \
sink_0::device=/dev/v4l-subdev4 format-msb=9 \
using-ir-mode=false wdr_enabled=True sink_0::pool-size=1 src::pool-size=1 ! \
video/x-raw, format=NV12, width=1360, height=670,framerate=50/1 ! \
queue max-size-buffers=1 leaky=0 ! kmssink src-w=1360 src-h=670 async=false can-scale=false driver-name=tidss

当只有 X3C 流水线正在运行时(没有 X5B 流水线)、X3C 摄像头的图像质量将保持正常。 但是、当 X3C 与 X5B 流水线同时处于活动状态时、X3C 摄像头的 ISP 性能会发生显著变化。

通过仔细观察这种现象,我们得出结论,在 X3C 相机中观察到的变化是由其 ISP 参数配置 bin 文件的覆盖造成的。 具体而言、当 X5B 摄像头激活时、X3C 摄像头错误地加载 X5B 的 ISP 配置 bin 文件、而不是其自己的配置 bin 文件。

我目前面临的问题如下：
1.当前版本10.1是否支持对多台摄像机使用不同的 ISP bin 文件？
2.如何验证 X3C 摄像头使用的 bin 文件是否已被配置为 X5B 的文件覆盖？
3.如何诊断和解决摄像头的异常显示问题？

提示：

我遇到的症状如下、请注意图像从第3秒变为第4秒。 我在第3秒激活了 X5B 摄像头。
e2e.ti.com/.../5c3177be89b2c06889f78af286aa9fe3.mp4

谢谢、

Yuwei

尊敬的 Yuwei：

感谢您报告此问题。 我们将调查并尽快为您提供更新。

此致、

建中

尊敬的 Yuwei：

我们的成像团队进行了一些调试并发现了一些问题。 您是否可以尝试用连接的 ti-firmware-builder-am62axx-evm-10_01_00_04/imaging/kernels/hwa/vpac_viss/vx_vpac_viss_target_drv.c 替换、然后重新构建固件？

e2e.ti.com/.../vx_5F00_vpac_5F00_viss_5F00_target_5F00_drv.c

请按照固件构建器文档 重新构建固件。

重新编译固件后、请将 SD 卡引导分区中的替换为新生成的 tispl.bin、位于：processor-sdk-linux-edgeai-am62a-evm-10_01_00_05/board-support/ti-u-boot-2024.04+git/am62a-arm64-linux/tispl.bin。

此外、请启用线性传感器的解析。 例如、对于 IMX390线性的情况、启用以下行：

https://git.ti.com/cgit/processor-sdk/imaging/tree/sensor_drv/src imx390/dcc_xmls/linear/IMX390_rawfe_decompand.xml？h=main#n36

https://git.ti.com/cgit/processor-sdk/imaging/tree/sensor_drv/src imx390/dcc_xmls/linear/IMX390_flxd_cfa.xml？h=main#n58

此致、

建中

你好、建中

我根据你的方法进行了修改和测试,发现它没有解决问题。

您能否成功解决 x5b 和 x3c 之间的冲突？

尊敬的 Peng Qiang：

应用更改后、您是否看到任何差异？

请再应用一个修复-注释掉第472行：

   if ((NULL != vissCfgRef->h3aLutCfg) && (FVID2_SOK == fvid2_status))
    {
        /* H3A Input Selection and Lut configuration */
        rfeCtrl.module   = RFE_MODULE_H3A_LUT;
        rfeCtrl.h3aLutCfg = vissCfgRef->h3aLutCfg;

        fvid2_status = Fvid2_control(vissObj->handle, IOCTL_RFE_SET_CONFIG,
            (void *)&rfeCtrl, NULL);
        if (FVID2_SOK != fvid2_status)
        {
            VX_PRINT(VX_ZONE_ERROR, "Failed to set H3A Input Config !!!\n");
        }

        //vissCfgRef->h3aLutCfg = NULL;
    }

完成这些更改(vx_vpac_viss_target_drv.c 和 DCC XML 文件)后、我验证了以下组合可以正常工作：

• IMX390 WDR + IMX390线性
• IMX728 WDR + IMX390线性

此致、

建中

你好、建中

我尝试了并发现了一些问题。

根据示例修改 x5b-xml 文件和 vx_vpac-viss_target_drv.c。

2.当 x5b 和 x3c 同时启动时、x5b 可能会遇到 DIM IR 图像和 RGB 图像模糊的问题(请参阅附件" enable_lut.jpg”)。

3.放弃修改 x5b-xml 文件。

4.当 x5b 和 x3c 同时出现时、 IR 和 RGB 图像（见附件"x5b 的 disenable_lut.jpg”）是正常的。

5.根据4的基础上,x5b 的 RGB 图像会有面部泛黄的问题（见附件"x5b-皮肤变色.mp4"）.你可以看到皮肤颜色的变化从视频。

根据上诉测试、我有两个问题：

1.是否仍需要修改 XML 文件？  已附加相关的 XML。

2.如何解决皮肤变色的问题?

e2e.ti.com/.../7462.case.zip

你好、彭强、

我尝试了并发现了一些问题。

不幸的是、我们的驾驶员专家再次因个人业务而离职(将于周一返回)。

Unknown 说：

1.根据示例修改 x5b-xml 文件和 vx_vpac-viss_target_drv.c。

Unknown 说：

1.是否仍需要修改 XML 文件？  相关的 XML 已附加。

在 xml 文件中启用/禁用位仅与 DCC 相关、用于启用 vis 功能。
其中一些问题可能会如以下示例所示进行检查(如果担心在运行时启用/禁用更改、则可能会忽略其中一些问题)。

https://git.ti.com/cgit/processor-sdk/imaging/tree/kernels/hwa/vpac_viss/vx_vpac_viss_target_dcc.c?h=main#n679

在 xml 中更改启用/禁用最多可以启用或禁用 viss 功能。

在"vx_vpac_viss_target_drv.c"中进行的更改如所示、用于保存/恢复摄像头之间的 vis 参数。
在您的情况下、您必须对运行时 x3c 和 x5b 之间可能不同的所有参数进行更改。

Unknown 说：

当 x5b 和 x3c 同时启动时、x5b 可能会遇到 DIM IR 图像和 RGB 图像模糊的问题(请参阅附件 enable_lut.jpg”).

我不确定我是否能理解与您的图片之间的差异。

听起来 PCID 设置没有正确保存/恢复。
请检查您是否可以注释掉此函数中的某些行以使其更好。

https://git.ti.com/cgit/processor-sdk/imaging/tree/kernels/hwa/vpac_viss/vx_vpac_viss_target_drv.c?h=main#n876

Unknown 说：

5.在4的基础上、x5b 的 RGB 图像将出现面部黄化问题（见附件"x5b-皮肤变色.mp4"）。您可以从视频中看到皮肤颜色的变化。

我想我不能理解你是什么意思的脸部泛黄的确切.

您可以先确认 PCID 是否在 x5b 工作正常。

您是否发现 AWB 输出(CCT 和增益)有任何问题和/或在同一场景中选择错误的 CCM 有任何问题？
如果是、则可能与保存/恢复 H3A 或 CCM 设置相关。

1.是否仍需要修改 XML 文件？  已附加相关的 XML。

无需更改 XML 文件。 那是我的错。 对不起。

2.如何解决皮肤变色的问题?

我们在视频中看到了效果。 请尝试在 https://git.ti.com/cgit/processor-sdk/imaging/tree/kernels/hwa/vpac_viss/vx_vpac_viss_target_drv.c 中注释掉更多行 、其中 VISS 配置指针设置为 NULL、这与我之前提供的类似。 例如、您可以尝试 CCM、PCID、如前面提到的 Gang：

CHANGKAI LI 说：

在您的情况下、您必须对运行时 x3c 和 x5b 之间可能不同的所有参数进行更改。

这是允许对每个传感器数据进行 VISS 重新配置的权变措施。 我们现在正在进行一个真正的修复。

此致、

建中

������33 说：

例如、您可以尝试使用 CCM,PCID、如 Gang 先前提到的：

你好、建中

我试过 PCID、CCM 和 WB、但没有一个工作

嗨、Peng、

您能否分享一些原始/YUV 图像示例以解决您的剩余问题？

我无法在您之前共享的屏幕截图中清楚地看到问题。

复制我的朋友 Pratik Roy。

嗨、Peng、

您能否再次检查  PROCESSOR-SDK-LINUX-edgeai-am62a-evm-10_01_00_05/board-support/ti-u-boot-2024.04+git/am62a-arm64-linux/tispl.bin 是否已重建？

谢谢你。

建中

你好、建中

检查修改日期没有问题

尊敬的建中：
当同时使用 ox03c 和 ox05b 摄像头时、我们发现 gsttiovx_miso_proce_graph ()文件中的 gst_tiovx_proce_graph ()比单独使用 ox03c 摄像头时需要更长的执行时间、从而导致帧速率降低。 是否有任何优化方法可用？
谢谢、
Yangtian

尊敬的 Yangtian：

 运行1个摄像头和运行2个摄像头时、是否对 gst_tiovx_msi_proce_graph ()的执行时间进行了任何测量？

谢谢、

建中