[参考译文] J721EXSOMXEVM：[EP2000][DRA829V]【摄像头】启用视频捕捉

此处的工具链路径包含这些与工具链相关的文件：

尊敬的 Sumanta Maity：

如果要使用 GStreamer、需要为 EdgeAI 构建。 您`m将 BUILD_FLAGS.MAK 中的 TISDK_IMAGE 变量更改为 edgeai、而不是运行 μ` AKE edgeai。

这应该 可以避免该问题。

您看到的特定工具链问题是因为缺少预期的工具链。 AArch64-none-linux-GNU 工具链可从 ARM (https://developer.arm.com/downloads/-/arm-gnu-toolchain-downloads) 安装。

此致、
Jared

您好 Jared、

似乎启用了 EDGAI、将禁用 ETHFW。 这里是否有任何依赖关系？

//vision_apps_build_flags.mak

ifeq ($(BUILD_EDGEAI),yes)
BUILD_ENABLE_ETHFW=no
endif

我们将在 MCU2_0 和 Vision 应用中运行 ETHFW。

据我所知、 v4l2h264dec 编解码器仅在 Linux 中才需要。 请告知我们 R5F 中是否需要任何 EdgeAI 依赖项？

如果我们在 R5F 中不需要 EDGAI、请告诉我们如何仅为 Linux 启用 EDGEAI、请提供任何文档/链接以便更好地理解。

谢谢。此致、
Sumanta.

尊敬的 Sumanta Maity：

要使用 GStreamer、需要在 R5F 内核上提供 EdgeAI 支持。 借助 GStreamer、插件可与 R5F 内核通信、从而运行 ISP 应用。

PSDK RTOS 支持编解码器 API、并且无需 Linux 即可使用该编解码器。

此致、
Jared

你好 Jared McArthur ,

我们并未考虑从 MCU2_0 禁用 ETHFW。 所以、我们需要在 Linux 中安装编解码器。 请提出一种方法。

我们可以快速致电吗？ 这将有助于彼此更好地理解、并有助于更快地移动 TT？

我正在印度工作 (GMT+5.30)。 请告诉我、我们可以安排短通话。

谢谢。此致、
Sumanta.

尊敬的 Sumanta Maity：

我们的 SDK 不支持此功能。 您不能在 PSDK RTOS 中使用编解码器 API 吗？

此致、
Jared

你好 Jared McArthur ,

我们不考虑在 PSK RTOS 中使用编解码器 API。

我们要在 A72 Linux 中使用编解码器 API。
如前所述、我们已经在 A72 Linux 中接收到帧、只需使用那里的编解码器对帧进行编码并存储为文件 (.mp4)。

请您就此提供帮助。

我认为这里有误解。 我们可以通过短电话解决问题吗？ 由于时区差异、此线程需要很长时间。

谢谢。此致、
Sumanta.

您好 Jared、我们希望有一个简短的电话来加快开发速度、这是不是可能的？ 我们需要澄清一下编解码器 API 的使用

尊敬的 Sumanta Maity 和 Jose Daniel Ambrocio：

如果您需要、我们可以给您一个简短的电话。 我认为这是没有必要的。

查看 Makefile 和文档、只是构建 edgeai 并安装到 SD 卡看起来并不会禁用 ETHFW。

如果您按照以下文档中的说明操作： 多摄像头+编解码器应用程序、则该应用程序应该可以正常工作。

CSI→VPAC→Vision Apps buffer (NV12)→appsrc→GStreamer→MP4

正确、尽管 appsrc 是 GStreamer 的一部分。

可以使用  我在此处提供的信息来解决工具链的原始问题：

您看到的特定工具链问题是因为缺少预期的工具链。 AArch64-none-linux-GNU 工具链可从 ARM (https://developer.arm.com/downloads/-/arm-gnu-toolchain-downloads).

工具链在运行以下命令时安装：

$ ./sdk_builder/scripts/setup_psdk_rtos.sh

具体来说、安装脚本会运行 linux-devkit.sh 脚本、该脚本会将工具链安装到系统根目录中。

您应该能够 通过编辑现有的 app_multi_cam_codec 应用程序并添加对 Maxim 设备 的支持（类似于您对 app_multi_cam 所做的操作）来测试 Maxim9295/9296。

此致、
Jared

你好 Jared McArthur ,

谢谢！
让我尝试整合这些更改。

请保持该主题开放。 我会回来的。

谢谢。此致、
Sumanta.

您好、

我已集成对 app_multi_cam_codec 的更改、运行 app_multi_cam_cam_codec 应用程序时收到此错误。

103.186816 s：vx_zone_error：[vxUnmapImagePatch:2569]映射地址为空
103.186854 s：vx_zone_error：[vxUnmapImagePatch:2569]映射地址为空
103.186870 s：vx_zone_error：[vxUnmapImagePatch:2569]映射地址为空
103.186875 s：vx_zone_error：[vxUnmapImagePatch:2569]映射地址为空

请在此处找到完整的日志、

/cfs-file/__key/communityserver-discussions-components-files/791/complete_5F00_logs.txt

大家知道 TI 模块非常复杂、我需要您的支持才能调试问题。 请帮忙。
可以提供指导或被动支持。


谢谢。此致、
Sumanta.

尊敬的 Sumanta Maity：

您是否在运行脚本之前运行了以下命令：

$ source /opt/vision_apps/vision_apps_init.sh

您能否发送为脚本提供源的输出？

此致、
Jared

您好 Jared、

感谢您的支持！

请查找日志以及 vision_apps_init.sh、
/cfs-file/__key/communityserver-discussions-components-files/791/complete_5F00_logs_5F00_01.txt

此致、
Sumanta.

您好 Jared、

MCU2_1 是 DMPAC 运行的位置、因此应该是必需的。

这是 VPAC、到目前为止我们未使用 DMPAC。 您能告诉我们为什么需要 DMPAC 吗？

在您的示例日志中、您能告诉我们、
1) 什么是图像传感器格式? 在我们的例子中、图像审查器将以 30FPS 生成 3840x2160 RAW12。

2) 如果可能,您可以一起运行 2 台摄像机并共享日志吗?

3) output_video_0.mp4 的运行是否适合您? 我们生成了两个视频文件、但这些文件的大小为 0、文件中没有数据。

4) 我看到 gstreamer 输入帧大小为 1920x1080。 由于我们的传感器将生成  3840x2160 数据、因此我们是否需要缩小帧的规模、或者 TIOVX 配置会进行处理？

5) 在这种情况下、我们如何支持 3840x2160 分辨率视频、如果可能、您可以分享 4K 分辨率的日志吗？

6) 您能否提供支持 4K 分辨率的补丁？

谢谢。此致、
Sumanta Maity

尊敬的 Sumanta Maity：

我们有 VPAC、截至目前我们未使用 DMPAC。 您能告诉我们为什么需要 DMPAC 吗？
[/报价]

查看 app_multi_cam_codec 演示的代码、则不需要 DMPAC。

我也看不到与您的错误消息相关的日志：

REMOTE_SERVICE: RX: mcu2_0 (port 21) -> mpu1_0 (port 21) cmd = 0x00000005, prm_size = 0 bytes ... Done !!!

您移植了编解码器演示吗？

另一个注意事项、CPU_ID 4 是 用于 J784S4 和 J721S2 的 TIVx_CPU_ID_MPU_0、您是否以某种方式为这些平台之一进行构建？

[报价 userid=“656552" url="“ url="~“~/support/processors-group/processors/f/processors-forum/1612287/j721exsomxevm-ep2000-dra829v-camera-enable-video-capture/6231530

2) 如果可能,您可以一起运行 2 台摄像机并共享日志吗?

[/报价]

我可以、您是否也可以单独运行 1 个摄像头？ 调试一个摄像头而不是两个摄像头会更容易。

[报价 userid=“656552" url="“ url="~“~/support/processors-group/processors/f/processors-forum/1612287/j721exsomxevm-ep2000-dra829v-camera-enable-video-capture/6231530

3) output_video_0.mp4 的运行是否适合您? 我们生成了两个视频文件、但这些文件的大小为 0、文件中没有数据。

[/报价]

是的。

[报价 userid=“656552" url="“ url="~“~/support/processors-group/processors/f/processors-forum/1612287/j721exsomxevm-ep2000-dra829v-camera-enable-video-capture/6231530

4) 我看到 gstreamer 输入帧大小为 1920x1080。 由于我们的传感器将生成  3840x2160 数据、因此我们是否需要缩小帧的规模、或者 TIOVX 配置会进行处理？

[/报价]

您可以在 main.c 中编辑 gstreamer 流水线帧大小

5) 在这种情况下、我们如何支持 3840x2160 分辨率视频、如果可能、您可以分享 4K 分辨率的日志吗？
[/报价]

我没有要测试的 4K 摄像头。

6) 您能否提供支持 4K 分辨率的补丁？
[/报价]

在 set_ref_pool_defaults 函数中编辑大小。

此致、
Jared

[/quote]

[/quote][/quote]

您好 Jared、

您的回答对我们来说非常简洁明了、令人困惑。

我们能否进行简短的通话来讨论？

您能告诉我们您的工作时间吗？ 我会安排通话。

谢谢。此致、
Sumanta.

尊敬的 Sumanta Maity：

您能告诉我们您的工作时间吗？ 我会安排通话。
[/报价]

我的工作时间是从 9 到 5 CST。

移植 app_multi_cam_codec 演示时、应确保流水线保持相同的分辨率/帧速率。

[报价 userid=“656552" url="“ url="~“~/support/processors-group/processors/f/processors-forum/1612287/j721exsomxevm-ep2000-dra829v-camera-enable-video-capture/6231530

4) 我看到 gstreamer 输入帧大小为 1920x1080。 由于我们的传感器将生成  3840x2160 数据、因此我们是否需要缩小帧的规模、或者 TIOVX 配置会进行处理？

[/报价]

如果您通读 app_multi_cam_codec 演示 (vision_apps/apps/basic_demos/app_multi_cam_codec/main.c) 的 main.c、则可以看到编码器池的宽度和高度在  set_ref_pool_defaults 中设置。 这些值最终被馈送到 set_codec_pipe_params、然后馈送到 construct_gst_strings。

 CONSOLE_GST_STRING 函数创建 GST 流水线。 默认情况下、不会对视频流进行缩放、但这会导致传感器和 GST 流水线之间的大小不匹配。 如果您编辑 set_ref_pool_defaults 函数、则可以更正此差异。

另一种选择是添加多标量节点、但这会更复杂。

默认情况下、此演示支持 IMX390。  您必须移植到 4K 传感器。

此致、
Jared

您好 Jared、

感谢您的解释！

我移植了 multi_cam_codec 演示、还启用了 gstreamer 日志。 这是我观察到的、

4K GStreamer 管道配置且启用了一个摄像头时、不会存储视频。 请查找配置文件、日志和图形输出文件。

/cfs-file/__key/communityserver-discussions-components-files/791/output_5F00_4k_5F00_single_5F00_cam_5F00_01.zip

1080p GStreamer PIPE 配置并启用了一个摄像头后、将存储视频。 但看起来视频帧只是原始帧的一小部分。 它不是缩放的帧/完整帧视图。 请查找配置文件、日志和图形输出文件。

/cfs-file/__key/communityserver-discussions-components-files/791/output_5F00_1080p_5F00_single_5F00_cam_5F00_01.zip

我们是否需要优化才能获得 4K 视频输出？

我的工作时间为 9 到 5 CST。

你的工作时间,将是非常晚印度时间。 有没有来自印度团队的任何人可以接受这张票。 这对我们来说很好。

谢谢。此致、
Sumanta.

尊敬的 Sumanta Maity：

我们是否需要优化才能获得 4K 视频输出？

 调用 APP_QUERI_SENSOR 时、您是否设置了正确的参数？ 传感器对象是使用 4K 图像宽度/高度初始化的吗？

你的工作时间,将是非常晚印度时间。 有没有来自印度团队的任何人可以接受这张票。 这对我们来说很好。

当前未启用。

此致、
Jared

您好 Jared、

 调用 app_querry_sensor 时是否设置了正确的参数？

是的、当 启用了 4K 分辨率的 en_out_capture_write 时、将接收帧并对其进行存储。

传感器对象是否使用 4K 图像宽度/高度进行了初始化？

是的。

为了快速跟踪此主题、我计划在 CST 星期二 Morning 上拨打电话、如果需要推迟、请告诉我。

谢谢。此致、
Sumanta.

尊敬的 Sumanta Maity：

J721E 不支持 4K 编码。

从文档中：

由于硬件限制、编码器不支持超过 1080p 的分辨率。 最多可并行处理 2 个通道。 当仅使用 1 个通道时、1080p 支持更高的帧速率、因为它会在两个硬件管道上分配负载。 单个 1080p 通道的最大帧速率为 60fps。

来自 TRM：

6.8.1 编码器概述
该编码器能够支持：
•1 个 1080p60 视频流编码或
•2 个或 3 个 1080p30 视频流编码

如果要对 4K 视频进行编码、则必须移动到其他设备。 例如、J721S2 或 J784S4 都支持 4K 编码。

此致、
Jared

您好 Jared、

感谢您提供的信息！

由于不能选择 4K、因此我将选择 1080p 视频输出选项。

正如我之前提到的、
1080p GStreamer PIPE 配置并启用了一个摄像头后、将存储视频。 但看起来视频帧只是原始帧的一小部分。 它不是缩放的帧/完整帧视图。 日志可在我之前的评论中找到。

我在研究这一点、现有的 app_multi_cam_capcode 应用程序似乎支持 1920x1080、因为输入和输出帧大小都是一样的。

对于我们来说、输入为  3840x2160、输出为 1920x1080、因此我认为现有的 LDC LUT 无法按预期工作。

那么、我们如何得到具有  3840x2160 输入帧大小和  1920x1080 输出帧大小的 LDC LUT 呢？


另外、能否请您分享您的电子邮件 ID、我希望安排通话。 短电话有助于澄清许多事情。

谢谢。此致、
Sumanta.

尊敬的 Sumanta Maity：

那么、我们如何获得具有  3840x2160 输入帧 大小和 1920x1080 输出帧大小的 LDC LUT？
[/报价]

您可以使用 LDC 来调整大小、但大多数情况下使用多缩放器来调整大小。 我想使用 LDC 来调整大小、您需要调整扫描床宽度和高度以及帧宽度和高度。  

您必须调整输入值和输出值以进行更改：

• 输入：1920x1080
• 输出：1280x720
  

收件人：

• 输入：3840x2160
• 输出：1920x1080

下面是启用降标时使用的代码片段。

        if (1 == obj->downscale && status == VX_SUCCESS)
        {
            obj->scalerObj.output[0].width = obj->enc_pool.width;
            obj->scalerObj.output[0].height = obj->enc_pool.height;
            obj->scalerObj.output[0].arr = obj->enc_pool.arr[0];
            status = app_create_graph_scaler(obj->context, obj->capture_graph, &obj->scalerObj, obj->ldc_out_arr_q[0]);
            APP_PRINTF("Scaler graph done!\n");
        }

另外、您能否分享您的电子邮件 ID、我想安排电话。 短电话有助于澄清许多事情。
[/报价]

我会给你发送电子邮件。

此致、
Jared

[/quote]

您好 Jared、

我修改了以下更改、

//vision_apps/apps/basic_demos/app_multi_cam_codec/multi_cam_codec_ldc_module.h
LDC_TABLE_WIDTH   (3840)
LDC_TABLE_HEIGHT  (2160)

//vision_apps/apps/basic_demos/app_multi_cam_codec/multi_cam_codec_ldc_module.h
obj->enc_pool.width = 1920；
obj->enc_pool.height = 1080；
obj->dec_pool.width = 1920；
obj->dec_pool.height = 1080；

//vision_apps/apps/basic_demos/app_multi_cam_codec/multi_cam_codec_ldc_module.h
poolObj->width = 1920;
poolObj->高度= 1080；

启用比例尺。
如果我缺少任何更改、请告知我。

完成这些更改后、我会看到 LDC 输出帧的大小为 3840x2160、并且图像为完整图像。

但生成的视频是全绿色的。 不知道出了什么问题！

请找到随附的日志、
/cfs-file/__key/communityserver-discussions-components-files/791/logs_5F00_downscale_5F00_1080p_5F00_01.zip

谢谢。此致、
Sumanta.

尊敬的 Sumanta Maity：

obj->dec_pool.width = 1920;
obj->dec_pool.height = 1080；

DEC_POOL.HEIGHT 需要为 1088。

是否可以禁用 en_decode？

进行此更改后、我可以看到 LDC 输出帧的大小为 3840x2160、映像为完整映像。
[/报价]

这是否意味着来自 LDC 的图像正确？ 如果启用 en_out_img_write、映像是否正确？

此致、
Jared

您好 Jared、


EN_DECODE 已禁用。

这是否意味着来自 LDC 的图像是正确的？

是的、这是正确的、尽管失真没有完全校正。

如果启用 en_out_img_write、图片是否正确？

当仅启用 en_out_image_write (1) 时、不存储帧。


此致、
Sumanta.

尊敬的 Sumanta Maity：

目前仍在调试、IMX390 上也会出现此问题。

在验证图调用之后、需要发送用于设置系数的命令。 我正在测试/调试并在验证后发送命令、当前是如此。

此致、
Jared

你好 Jared McArthur ,

进行上述更改后、视频捕捉现在可以正常工作。
感谢您的更改。

视频现在已从 4K 扩展到 1080p。
但我观察到了两件事：
1) 对于我们而言、传感器正在生成 30FPS 的帧（我们已在 A72 Linux 上使用日志进行验证）、但生成的视频为 22.5fps。
2) 镜头失真未完全校正,视频帧与原始图像相比不平滑/清晰。

谢谢。此致、
Sumanta.

尊敬的 Sumanta Maity：

1) 对于我们来说、传感器会生成 30FPS 的帧（我们已在 A72 Linux 上使用日志进行验证）、但生成的视频为 22.5fps。
[/报价]

我不知道为什么制作的视频是 22.5fps。 IMX390 在缩小比例时的 fps 为 30fps。

2) 镜头失真未完全校正、并且与原始图像相比、视频帧不是平滑/清晰的。
[/报价]

您可能需要调整 LDC 来解决该问题。 请为此开一个不同的 TT。

关于视频帧不平滑/清晰、是在图像缩放之前还是之后？

此致、
Jared

[/quote]

你好 Jared McArthur ,

当然、我将为 LDC 校正创建另一个支持工单。

您可以关闭此主题。

感谢您的支持！

此致、
Sumanta.

尊敬的 Sumanta Maity：

您能否将线程标记为已解决？

此致、
Jared