[参考译文] J784S4XEVM：IMX662

您好、Sriram、

错误日志与 E2E 论坛帖子( https://e2e.ti.com/support/processors-group/processors/f/processors-forum/1418056/tda4vl-q1-v4l2src0-failed-to-allocate-required-memory?tisearch=e2e-sitesearch&keymatch=v4l2src0%3A%20Failed%20to%20allocate%20required%20memory.#)中的错误日志类似

我认为缺少的部分是 media-ctl 命令需要事先运行才能设置格式。 对于 IMX219、  默认映像中有一个 setup_cameras.sh 脚本在启动时运行命令、这可能是它在 IMX219时工作的原因： https://github.com/TexasInstruments/edgeai-gst-apps/blob/main/scripts/setup_cameras.sh

此致、

Takuma

尊敬的 Takuma Fujiwara：

以下命令可与 Aquila 板上的 imx662配合使用、

gst-launch-1.0 v4l2src device=/dev/video-imx662-cam0 io-mode=dmabuf-import num-buffers=$frame！ video/x-Bayer、width=$width、height=$height、帧速率=60/1、format=rggb10！ tiovxisp sink_0：：device=/dev/v4l-imx662-subdev0 sensor-name="sensor_sony_IMX662" dcc-isp-file=/opt/imaging/imx662/linear/dcc_viss.bin sink_0：：dcc-2a-file=/opt/imaging/imx662/linear/dcc_2a.bin format-msb=9！ video/x-raw、格式=NV12、宽度=1920、高度=1080、帧速率=60/1！ 绝对时间戳位置=$LOG_FILE！ filesink location=$file

v4l2-ctl -d /dev/v4l-imx662-subdev0 --set-ctrl exposure_auto=1

v4l2-ctl -d /dev/v4l-imx662-subdev0 --set-ctrl exposure_time_absolute=16600

但我想知道为什么我无法捕获原始数据而不明确提及 imx662命令中的 tiovxisp 和 io_mode。 该命令(未明确提及 tiovxisp 和 io_mode)与 tda4vm 板上的 imx219一起使用。 这是由驱动器处理缓冲区的差异造成的吗？

您好、Sriram、

Unknown 说：

但我想知道为什么我无法捕获原始数据、而无需在命令中明确提及 imx662中的 tiovxisp 和 io_mode。 该命令(未明确提及 tiovxisp 和 io_mode)与 tda4vm 板上的 imx219一起使用。 [/报价]

我不知道。 IO_MODE 肯定会更改缓冲区的处理方式、使用 tiovxisp 将转换映像格式。 从技术上讲、应该可以在没有 tiovxisp 的情况下捕获原始数据。

您能否分享您用于 IMX219 + TDA4VM 电路板的 GStreamer 流水线、以便我们可以与新的非工作流水线进行比较？

此致、

Takuma

藤原孝磨你好

感谢您更快的响应、以下是用于在 TDA4VM 中使用 imx219捕获帧的 gstreamer 命令

root@tda4vm-sk：~# gst-launch-1.0 v4l2src device=/dev/video-imx219-cam0 num-buffers=10！ 视频/x-Bayer、格式=rggb、宽度=1920、高度=1080、帧速率=30/1！ filesink location=output_Bayer_image_3.raw
正在将管道设置为已暂停...
流水线是实时的,不需要 PREROLL ...
流水线是 PREROLLED。
正在设置播放管道...
新时钟：GstSystemClock
重新分配延迟...
从元素"pipine0"获取 EOS。
执行在0：00：00.404877865之后结束
正在将管道设置为空...
正在释放管道...


以下内容适用于 IMX662

gst-launch-1.0 v4l2src device=/dev/video-imx662-cam0 num-buffers=10！ 视频/x-Bayer、格式=rggb10、宽度=1920、高度=1080、帧速率=30/1！ filesink location=output_Bayer_image_3.raw

错误：来自元素/GstPipeline:pipaine0/GstV4l2Src:v4l2src0：无法分配所需的内存。
其他调试信息：
../gst-plugins-good-1.20.7/sys/v4l2/gstv4l2src.c (777)：gst_v4l2src_decision_allocation ()：/GstPipeline0/GstV4l2Src：v4l2src0：
缓冲池激活失败
执行在0：00：00.281495940之后结束
正在将管道设置为空...
错误：来自元素/GstPipeline:pipaine0/GstV4l2Src:v4l2src0：内部数据流错误。

您好、Sriram、

两人之间似乎没有什么突出的。 除了 rggb 与 rggb10的格式外、看起来几乎相同。 我怀疑这是造成问题,因为你提到,在" Aquila 板"管道与 rggb10是有效的。

不过、我现在注意到的一点是、与 Aquila 板一起使用的 GStreamer 流水线使用了宽度和高度的环境变量。  

对于使用 imx662和 Aquila 板的工作管道、您能否回显$width 和$height 环境变量设置为什么？ 也许 media-ctl 设置的分辨率与管道使用的分辨率不匹配？

此致、

Takuma

FILE=/run/media/User-mmcblk0p4/output.nv12

log_file="/run/media/User-mmcblk0p4/abs_timestamps_60.log

宽度= 1920

高度=1080

帧=60

#===为 imx662摄像头设置 tiovx 模块和 gstreamer 插件==# 这是中间修复

/opt/edgeai-gst-apps/scripts/install_gst_plugins.sh

/opt/edgeai-gst-apps/scripts/install_tiovx_modules.sh

#===运行 GStreamer 流水线===

echo "running Gstreamer pipeline to collect $frames..."

gst-launch-1.0 v4l2src device=/dev/video-imx662-cam0 io-mode=dmabuf-import num-buffers=$frame！ video/x-Bayer、width=$width、height=$height、帧速率=60/1、format=rggb10！ tiovxisp sink_0：：device=/dev/v4l-imx662-subdev0 sensor-name="sensor_sony_IMX662" dcc-isp-file=/opt/imaging/imx662/linear/dcc_viss.bin sink_0：：dcc-2a-file=/opt/imaging/imx662/linear/dcc_2a.bin format-msb=9！ video/x-raw、格式=NV12、宽度=1920、高度=1080、帧速率=60/1！ 绝对时间戳位置=$LOG_FILE！ filesink location=$file

v4l2-ctl -d /dev/v4l-imx662-subdev0 --set-ctrl exposure_auto=1

v4l2-ctl -d /dev/v4l-imx662-subdev0 --set-ctrl exposure_time_absolute=16600

以上内容来自用于 运行 gstreamer 命令以测试 IMX662摄像头的.sh 文件

下面是我在没有 tiovxisp 的情况下尝试运行 gstreamer 命令而未提及 IO_MODE 时遇到的日志和错误

root@j784s4-evm：/usr/cam_test # gst-launch-1.0 v4l2src device=/dev/video-imx662-cam0 num-buffers=10！ 视频/x-Bayer、格式=rggb、宽度=1920、高度=1080、帧速率=30/1！ filesink location=outpu_imx662_Bayer.raw

[1339.904818] vdecc 4210000.video-codec: VPU 唤醒(W5_VPU_REMAP_CORE_START)超时
[ 1359.915057] vdecc 4210000.video-codec: VPU 唤醒(W5_VPU_REMAP_CORE_START)超时

[ 1379.923491] vdecc 4220000.video-codec: VPU wakeup (W5_VPU_REMAP_CORE_START) timeout
[ 1399.931728] vdecc 4220000.video-codec：VPU 唤醒(W5_VPU_REMAP_CORE_START)超时
正在将管道设置为已暂停...
流水线是实时的,不需要 PREROLL ...
管道是 PR [1409.954402]----- [在这里剪切]------
EOLLED ...
正在设置播放管道...
新时钟：GstSysst[1409.959065]警告：CPU：1 PID：1997、位于 drivers/media/common/videobuf2/videobuf2-core.c:1627 vb2_start_stream+0xe0/0x15c [videobuf2_common]
emClock
[1409.977444]链接的模块：rpmsg_crpmsg_char 覆盖蓝牙 ecdh_generic ecc cfg80211 rfkill cdns_csi2rx st_magn_spc_accel_spj721e_csi2rx
[1410.041065] CPU: 1 PID: 1997 Comm: v4l2src0: src tainted: G       W O      6.1.80 #1.
[1410.054950] pstate：600005 (nZCv daif -pan -uao -TCO -DIT -SSB BTYPE =--)
[1410.061894] PC：vb2_start_stream+0xe0/0x15c [videobuf2_common]
[1410.068064] LR : vb2_start_stream+0x68/0x15c [videobuf2_common]
[1410.074231] sp : ffff80000be6bb60
[1410.077531] x29：ffff80000be6bb60 x28：ffff0008c4a9b100 x27：ffffff0008c4a414b8
[ 1410.084649] x26：0000000000000000 x25：0000000040045612 x24：0000000000000000
[1410.091766] x23：ffff80000be6bcc8 x22：ffff0008c03b1800 x21：ffffff0008c4a41438
root@j784s4-evm：/usr/cam_test # gst-launch-1.0 v4l2src device=/dev/video-imx662-cam0 num-buffers=10！ 视频/x-Bayer、格式=rggb、宽度=1920、高度=1080、帧速率=30/1！ filesink location=output_imx662_Bayer.raw
[1439.095966] vdecc 4210000.video-codec: VPU wakeup(W5_VPU_remap_core_start) timeout
[1459.106082] vdecc 4210000.video-codec: VPU wakeup(W5_VPU_remap_core_start) timeout
[ 1479.114445] vdecc 4220000.video-codec: VPU 唤醒(W5_VPU_REMAP_CORE_START)超时
[1499.122738] vdecc 4220000.video-codec: VPU wakeup (W5_VPU_REMAP_CORE_START) timeout
正在将管道设置为已暂停...
流水线是实时的,不需要 PREROLL ...
管道是 PRER[1509.141268]------ [在这里剪切]------
[1509.149991]警告：CPU：0 PID：2001、位于 drivers/media/common/videobuf2/videobuf2-core.c：1627 VB2_start_stream+0xe0/0x15c [videobuf2_common]
[1509.162851]链接的模块：rpmsg_crpmsg_char 覆盖蓝牙 ecdh_generic ecc cfg80211 rfkill cdns_csi2rx st_magn_spc_accel_spj721e_csi2rx
[1509.225784] CPU: 0 PID: 2001 Comm: v4l2src0: src tainted: g       W O      6.1.80 #1.
[1509.239668] pstate：600005 (nZCv daif -pan -uAO -TCO -DIT -SSB BTYPE=--)
[1509.246611] PC：vb2_start_stream+0xe0/0x15c [videobuf2_common]
[1509.252782] LR : VB2_start_stream+0x68/0x15c [videobuf2_common]
[1509.258951] sp : ffff80000b08bb60
[ 1509.262251] x29：ffff80000b08bbb60 x28：ffff0008c5b6df00 x27：ffff0008c4a414b8
[ 1509.269369] x26：0000000000000000 x25：0000000040045612 x24：0000000000000000
[ 1509.276487] x23：ffff80000b08bcc8 x22：ffffff0008bf6be700 x21：ffffff0008c4a41438
[ 1509.283605] x20：ffff0008c4a41260 x19：00000000ffffffffea x18：0000000000000000
[ 1509.290723] X17：0000000000000000 x16：0000000000000000 x15：000000002354e0e0
[ 1509.297840] x14：000000000000 X13：0000000000000000 x12：0000000000000000
[1509.304958] x11：0000000000000000 x10：0000000000009：0000000000000000
[ 1509.312076] x8：0000000000000000 x7：000000000005 x6：0000000000000012
[ 1509.319194] x5：000000000000 x4：0000000000000001 x3：ffff0008bc231dc0
[ 1509.326311] x2：000000000000 x1：ffff800000e13000 x0：000000000004
[1509.333428]呼叫跟踪：
[1509.335861] VB2_start_streaming+0xe0/0x15c [videobuf2_common]
[1509.341683] vb2_core_streamon+0x90/0x190 [videobuf2_common]
[1509.34731] vb2_ioctl_streamon+0x5c/0xb0 [videobuf2_v4l2]
[1509.352807] V4L_streamon+0x24/0x30 [videodev]
[1509.357262] __video_do_ioctl+0x18c/0x3dc [videodev]
[ 1509.362232] video_us1r01] do_el0_svc+0x20/0x30  
[1509.391403] el0_Svc+0x28/0xa0  
[ 1509.3944449] el0t_64_SYNC_HANDLER+0xbc/0x140
[ 1509.398705] el0t_64_sync+0x18c/0x190
[1509.402354]--[结束跟踪000000000000 ]-----
老旧的酒店
正在设置播放管道...
新时钟：GstSystemClock
错误：来自元素/GstPipeline:pipaine0/GstV4l2Src:v4l2src0：无法分配所需的内存。
其他调试信息：
../gst-plugins-good-1.20.7/sys/v4l2/gstv4l2src.c (777)：gst_v4l2src_decision_allocation ()：/GstPipeline0/GstV4l2Src：v4l2src0：
缓冲池激活失败
执行在0：00：00.269254265之后结束
正在将管道设置为空...
错误：来自元素/GstPipeline:pipaine0/GstV4l2Src:v4l2src0：内部数据流错误。
其他调试信息：
../gstreamer -1.20.7/libs/gst/base/gstbasesrc.c (3127)：gst_base_src_loop ()：/GstPipeline0/GstV4l2Src：v4l2src0：
流已停止、原因未协商(-4)
正在释放管道...
root@j784s4-evm：/usr/cam_test

感谢您的回答 Takuma

您好、Sriram、

高度和宽度看起来与工作管道的分辨率相同。 因此、我怀疑由于解决问题而在谈判过程中会出现不匹配的情况。

您共享的最新错误日志很奇怪、很有趣。 错误似乎来自编解码器、但我不认为会使用编解码器加速器。 我想在内部,使用文件链接正在调用编解码器代码。

您能做一个实验,而不是文件链接,我们使用 fakesink 来看看我们是否可以缩小问题的范围? 如下所示：

• gst-launch-1.0 v4l2src device=/dev/video-imx662-cam0 num-buffers=10！ 视频/x-Bayer、格式=rggb、宽度=1920、高度=1080、帧速率=30/1！ fakesink

此致、

Takuma

尊敬的 Takuma Fujiwara：

抱歉的困惑,我已经认为一些内核没有映射到视觉应用,因此这些编解码器问题上升。 这是您发出的上述命令的日志、

root@j784s4-evm：~# gst-launch-1.0 v4l2src device=/dev/video-imx662-cam0 num-buffers=10！ 视频/xbayer、格式=rggb、宽度=1920、高度=1080、帧速率=30/1！ fakesink
警告：错误的流水线：无法将 v4l2src0链接到 fakesink0、v4l2src0无法处理 caps video/xbayer、format=(string) rggb、width=(int) 1920、height=(int) 1080、帧速率=(faction) 30/1

上面的 dmesg 日志、

root@j784s4-evm：~# dmesg | tail -5  

[244.638227] ctrl_id = 00980913 ctrl_val = 300
[244.669266] ctrl_id = 009a0901 ctrl_val = 0
[245.066272] ctrl_id = 00980911 ctrl_val = 16600
[ 245.187959] ctrl_id = 00980911 ctrl_val = 8000
[246.206822] imx662 2-0042：已启用自动增益和曝光  
root@j784s4-evm：~#


我之前在未明确提及 tiovxisp 和 IO 模式的情况下测试的命令日志如下所示：

root@j784s4-evm：~# gst-launch-1.0 v4l2src device=/dev/video-imx662-cam0 num-buffers=10！ 视频/x-Bayer、格式=rggb、宽度=1920、高度=1080、帧速率=30/1！ filesink location=outpu_imx662_Bayer.raw
正在将管道设置为已暂停...
流水线是实时的,不需要 PREROLL ...
流水线是 PREROLLED。
正在设置播放管道...
新时钟：GstSystemClock
[462.146217] imx662 2-0042：已启用自动增益和曝光  
[462.151969] ctrl_id = 00980911 ctrl_val = 8000
[462.181752] imx662 2-0042：自动增益和曝光已启用  
[ 462.191920] ctrl_id = 00980913 ctrl_val = 0
[ 462.218021] imx662 2-0042：禁用 TI ISP 增益和曝光控制  
[ 462.228620] ctrl_id = 009a0902 ctrl_val = 8000
[ 462.258204] ctrl_id = 009e0903 ctrl_val = 1
^Chandling 中断。
中断：正在停止流水线...
执行在0：00：06.495854375之后结束
正在将管道设置为空...
正在释放管道...
root@j784s4-evm：~# dmesg | tail -10
[245.066272] ctrl_id = 00980911 ctrl_val = 16600
[ 245.187959] ctrl_id = 00980911 ctrl_val = 8000
[246.206822] imx662 2-0042：已启用自动增益和曝光  
[462.146217] imx662 2-0042：已启用自动增益和曝光  
[462.151969] ctrl_id = 00980911 ctrl_val = 8000
[462.181752] imx662 2-0042：自动增益和曝光已启用  
[ 462.191920] ctrl_id = 00980913 ctrl_val = 0
[ 462.218021] imx662 2-0042：禁用 TI ISP 增益和曝光控制  
[ 462.228620] ctrl_id = 009a0902 ctrl_val = 8000
[ 462.258204] ctrl_id = 009e0903 ctrl_val = 1
root@j784s4-evm：~#  


她说这话竟然有点抽泣。 感谢您的回答

您好、Sriram、

我这边有两条评论：

首先、 第一个流水线似乎有一个拼写错误。 它应该是"video/x-Bayer"而不是"video/xbayer"。 流水线应该可以工作、因为我使用如下所示的虚拟视频源进行了验证：  

gst-launch-1.0 videotestsrc ! capsfilter caps="video/x-bayer, format=rggb, width=1920, height=1080, framerate=30/1" ! fakesink
Setting pipeline to PAUSED ...
Pipeline is PREROLLING ...
Pipeline is PREROLLED ...
Setting pipeline to PLAYING ...
Redistribute latency...
New clock: GstSystemClock
^Chandling interrupt.
Interrupt: Stopping pipeline ...
Execution ended after 0:00:05.679225300
Setting pipeline to NULL ...
Freeing pipeline ...
root@am67-sk:~#

您能否重试管道？

其次、我能否对硬件设置进行一些说明？ 具体来说、这是在 TI J784S4 EVM、TI SK-AM69还是定制板上进行的吗？ 在使用 ISP 并在此硬件设置中定义 IO 模式时、摄像头捕捉流水线是否工作？

此致、

Takuma

您好、Sriram、

对与额外演示流水线混淆表示歉意。 您能不能运行我最初使用 v4l2src 共享的原始流水线、但没有拼写错误？

• gst-launch-1.0 v4l2src device=/dev/video-imx662-cam0 num-buffers=10！ 视频/x-Bayer、格式=rggb、宽度=1920、高度=1080、帧速率=30/1！ fakesink

Unknown 说：

帧速率=60/1、format=rggb10

^此外、我发现工作流水线使用的帧速率和格式与不带 tiovxisp 和 IO 模式的非工作流水线不同。 因此、除了 我最初的示例流水线外、您是否也可以运行该流水线：

• gst-launch-1.0 v4l2src device=/dev/video-imx662-cam0 num-buffers=60！ 视频/x-Bayer、格式=rggb10、宽度=1920、高度=1080、帧速率=60/1！ fakesink

此致、

Takuma

Rhi Takuma Fujiwara

下面是您请求的两个命令的日志

root@j784s4-evm：/home/Diagnostics/Out # gst-launch-1.0 v4l2src device=/dev/video-imx662-cam0 num-buffers=10！ 视频/x-Bayer、格式=rggb、宽度=1920、高度=1080、帧速率=30/1！ fakesink
正在将管道设置为已暂停...
流水线是实时的,不需要 PREROLL ...
流水线是 PREROLLED。
正在设置播放管道...
新时钟：GstSystem[ 148.473888] imx662 2-0042：已启用自动增益和曝光
有用
[ 148.481293] ctrl_id = 00980911 ctrl_val = 8000
[148.511284] imx662 2-0042：已启用自动增益和曝光
[ 148.521458] ctrl_id = 00980913 ctrl_val = 0
[ 148.550341] imx662 2-0042：TI ISP 增益和曝光控制已禁用
[ 148.560937] ctrl_id = 009a0902 ctrl_val = 8000
[ 148.586333] ctrl_id = 009e0903 ctrl_val = 1
^Chandling 中断。
中断：正在停止流水线...
执行在0：01：36.747935320之后结束
正在将管道设置为空...
正在释放管道...
root@j784s4-evm：/home/Diagnostics/Out # gst-launch-1.0 v4l2src device=/dev/video-imx662-cam0 num-buffers=60！ 视频/x-Bayer、格式=rggb10、宽度=1920、高度=1080、帧速率=60/1！ fakesink
正在将管道设置为已暂停...
流水线是实时的,不需要 PREROLL ...
流水线是 PREROLLED。
正在设置播放管道...
新时钟：GstSystem[ 148.618333] ctrl_id = 009a0901 ctrl_val = 1
有用
[ 274.352939] ctrl_id = 009e0903 ctrl_val = 0
[274.387296] imx662 2-0042：禁用自动增益和曝光
[ 274.397290] ctrl_id = 009a0902 ctrl_val = 16600
[274.422347] imx662 2-0042：自动增益和曝光已禁用
[ 274.432708] imx662 2-0042：禁用 TI ISP 增益和曝光控制
[ 274.439182] ctrl_id = 009a0902 ctrl_val = 16600
[ 274.466343] ctrl_id = 009e0903 ctrl_val = 0
重新分配延迟...
从元素"pipine0"获取 EOS。
执行在0：00：01.393581730之后结束
正在将管道设置为空...
正在释放管道...

感谢您的反馈、

此致、

Sriram

尊敬的 Takuma Fujiwara：

感谢您的回答、尽管我与不同的不适当日志和错误信息混淆、但仍指导我完成了错误纠正。

以下是工作流水线 gstreamer 命令、用于在不使用 tiovxisp 的情况下捕获帧、并且使用 IMX662未明确提及 IO_MODE=DMABUF_IMPORT、


root@j784s4-evm：/opt/edgeai-gst-apps # gst-launch-1.0 v4l2src device=/dev/video-imx662-cam0 num-buffers=60！ 视频/x-Bayer、格式=rggb10、宽度=1920、高度=1080、帧速率=60/1！ filesink location=output_imx662_Bayer.raw
正在将管道设置为已暂停...
流水线是实时的,不需要 PREROLL ...
流水线是 PREROLLED。
正在设置播放管道...
新时钟：GstSystemClock
[  38.220706] imx662 2-0042：已启用自动增益和曝光  
[  38.226455] ctrl_id = 00980911 ctrl_val = 8000
[38.255972]  imx662 2-0042：已启用自动增益和曝光  
[  38.266154] ctrl_id = 00980913 ctrl_val = 0
[  38.292264] imx662 2-0042：启用 TI ISP 增益和曝光控制  
[  38.302807] ctrl_id = 00980911 ctrl_val = 16600
[  38.331261] ctrl_id = 00980913 ctrl_val = 300
重新分配延迟...
从元素"pipine0"获取 EOS。
执行在0：00：01.419026995之后结束
正在将管道设置为空...
正在释放管道...
root@j784s4-evm：/opt/edgeai-gst-apps ls -l output_imx662_Bayer.raw  
rw-r--r-- 1根根248832000 Apr 28 17:43 output_imx662_Bayer.raw

此致、

Sriram

您好、Sriram、

感谢您分享此更新。 我最后道歉,因为我在审查管道时错过了格式的改变。 在任何情况下,很高兴听到我们有管道工作!

此致、

Takuma