This thread has been locked.

If you have a related question, please click the "Ask a related question" button in the top right corner. The newly created question will be automatically linked to this question.

[参考译文] J722SXH01EVM:TI-AM6x 上的 ISP CAN##39;t 摘要灰色图像正确

Guru**** 1664790 points
Other Parts Discussed in Thread: AM67A
请注意,本文内容源自机器翻译,可能存在语法或其它翻译错误,仅供参考。如需获取准确内容,请参阅链接中的英语原文或自行翻译。

https://e2e.ti.com/support/processors-group/processors/f/processors-forum/1400929/j722sxh01evm-isp-on-ti-am6x-can-t-digest-grey-images-correctly

器件型号:J722SXH01EVM
主题中讨论的其他器件:AM67A

工具与软件:

您好!

我们希望使用 ISP 来执行自动曝光、自动白平衡等、也可以在灰色图像(单色)上执行此操作。 但 ISP 似乎 仅支持 Bayer 格式的图像作为输入图像、并且会自动对其取消标签:

$ gst-inspect-1.0 tiovxisp
…
Pad Templates:
  SINK template: 'sink_%u'
    Availability: On request
    Capabilities:
      video/x-bayer
                 format: { (string)bggr, (string)gbrg, (string)grbg, (string)rggb, (string)bggr10, (string)gbrg10, (string)grbg10, (string)rggb10, (string)rggi10, (string)grig10, (string)bggi10, (string)gbig10, (string)girg10, (string)iggr10, (string)gibg10, (string)iggb10, (string)bggr12, (string)gbrg12, (string)grbg12, (string)rggb12, (string)bggr16, (string)gbrg16, (string)grbg16, (string)rggb16 }
                  width: [ 1, 8192 ]
                 height: [ 1, 8192 ]
…

如果我们向 ISP 输入完全不需要去刺脉冲的灰色图像、则在自动曝光或自动白平衡生效之前、ISP 仍会去除刺脉冲。 这种不必要的去刺步骤会导致在 ISP 之后错误地插入灰色图像。

因此、我们想知道、如果输入图像是灰色/单声道图像、ISP 是否可以应用其功能、例如自动曝光而不需要去刺穿。 如果目前还不可能、将来是否会扩大 ISP 的范围、使之能够做到这一点?

谢谢!

Danxuan

  • 请注意,本文内容源自机器翻译,可能存在语法或其它翻译错误,仅供参考。如需获取准确内容,请参阅链接中的英语原文或自行翻译。

    尊敬的 Danxuan:

    我们想使用 ISP 进行自动曝光、自动白平衡等操作,也可以在灰色图像(单色)上进行。 [报价]

    AWB 与单声道传感器无关。

    J722s 上的 ISP H/W 没有 AE (或 AWB)。
    AE 在 j722s 上运行、用于控制传感器曝光。

    当 ISP 处理一个传感器原始图像帧时、它还将输出 DDR 中的一些统计数据以供 AE 拾取作为输入。
    您是否需要 ISP 来更改传感器原始图像中的任何内容?

    如果没有、您可能根本不需要 ISP。
    您可以让 AE s/w 直接从 DDR 读取原始图像。

    如果我们向 ISP 提供完全不需要去刺穿的灰色图像,在自动曝光或自动白平衡生效之前,ISP 仍会去除刺穿图像。

    传感器图像上的 ISP 处理根本不会影响 AE/AWB。

    另一方面、ISP H/W 可以处理单声道图像、无需去拜。

    [/quote]
  • 请注意,本文内容源自机器翻译,可能存在语法或其它翻译错误,仅供参考。如需获取准确内容,请参阅链接中的英语原文或自行翻译。

    尊敬的刚华:

    非常感谢您的快速回复和提供的信息。 另外,这个线程 https://e2e.ti.com/support/processors-group/processors/f/processors-forum/1358547/sk-am62a-lp-monochrome-image-processing-capabilities 已经帮助了我很多。 告诉 ISP 不要对输入图像数据执行去镶嵌(去马赛克)的正确方法是使用配置 VPAC  

    COLOR_PATTERN 4

    其中4 =单声道(新信息添加到修订版 AM6xA ISP 调优指南中)。 这对我们的单色图像数据和彩色图像都有效,如果我们不希望它们被去除刺穿。

    尽管我 对您的答复还有两个问题:

    1. 您提到"AE 是在 J722s 上运行的软件、用于控制传感器曝光"。 您指的是哪种 AE 软件? 据我从 gsttiovxisp 源代码中看到的、ISP 根据当前图像亮度计算适当的曝光和增益、并将这些新值发送到摄像头/传感器模块、因此会执行 AE 和 AC。 在我看来、ISP 正在执行 AE 和 AC ... 我理解错了什么?
    2. "边缘增强"和"噪声过滤"如何? 它们是由 ISP 硬件执行还是纯由 SW 执行?

    谢谢!

    Danxuan

  • 请注意,本文内容源自机器翻译,可能存在语法或其它翻译错误,仅供参考。如需获取准确内容,请参阅链接中的英语原文或自行翻译。

    尊敬的 Danxuan:

    您指的是哪款 AE 软件?

    如果您在 edgeai 平台中、则2A 是在 Linux 端运行的软件。

    有关更多详细信息、请参阅下面的常见问题解答。

    https://e2e.ti.com/support/processors-group/processors/f/processors-forum/1304287/faq-am62a7-how-to-use-the-isp-on-am62a

    https://e2e.ti.com/support/processors-group/processors/f/processors-forum/1304287/faq-am62a7-how-to-use-the-isp-on-am62a

    关于"边缘增强"和"噪声过滤"如何?

    它们是 VPAC-VISS 中的 H/W 块。

    有关更多详细信息、请参阅 J722S TRM VPAC 部分。

  • 请注意,本文内容源自机器翻译,可能存在语法或其它翻译错误,仅供参考。如需获取准确内容,请参阅链接中的英语原文或自行翻译。

    尊敬的刚华:

    感谢您的答复。 我找到了 2A 算法的源代码、谢谢! 我是否理解正确:ISP 向 2A 算法(在 CPU 上运行)提供图像数据和信息、以便算法计算适当的曝光和增益、因此如果我们不需要 ISP、我们可以将相同的信息发送到 2A 算法、作为我们自己的输入、正确吗?

    由于 ISP 对数据吞吐量有一些限制、例如最多支持4096个线路和最多 带宽(AM62A 为315MB/s、AM67A 为600MB/s)、如果我们绕过 ISP 并 自行使用2A 算法、我们将不再具有这些数据限制、对吧? 我的意思是:只要 CPU 可以获取、2A 算法基本上可以在更高的 FPS 条件下处理大量数据、对吧?

    谢谢!

    Danxuan

  • 请注意,本文内容源自机器翻译,可能存在语法或其它翻译错误,仅供参考。如需获取准确内容,请参阅链接中的英语原文或自行翻译。
    ISP 向 2A 算法(在 CPU 上运行)提供算法的图像数据和信息

    是的、VISS-H3A 为2A 算法提供了一些统计信息。

    如果我们不需要 ISP、我们可以将相同的信息发送给 2A 算法作为我们自己的输入

    您必须从传感器原始图像生成自己的统计信息。

    如果您的传感器可以输出包括原始像素直方图在内的嵌入式数据、您可以使用直方图作为输入来开发自己的 AE。

  • 请注意,本文内容源自机器翻译,可能存在语法或其它翻译错误,仅供参考。如需获取准确内容,请参阅链接中的英语原文或自行翻译。
    如果我们绕过 ISP 并 自己使用2A 算法、我们将不再有这些数据限制、对吗?

    是的、是这样。

    带宽(AM62A 为315MB/s、AM67A 为600MB/s)、

    这应是对 VISS 吞吐量、315MP/s 和600MP/s 的粗略估算

    我的意思是:2A 算法基本可以在更高的 FPS 条件下处理大量数据、只要 CPU 可以接受、是吗?

    对于单声道传感器、只有 AE 很重要(AWB 是不必要的)。

    如果您使用来自传感器嵌入式数据的原始直方图、AE 根本不需要读取传感器的原始图像。
    您的结论绝对正确。

    否则、AE 必须读取原始图像数据以获取图像统计信息。
    如果您使用 VISS、它还必须读取原始图像数据。

  • 请注意,本文内容源自机器翻译,可能存在语法或其它翻译错误,仅供参考。如需获取准确内容,请参阅链接中的英语原文或自行翻译。

    尊敬的刚华:

    感谢您的详细说明!  我想我们现在可以关闭该主题帖了。

    谢谢、

    Danxuan

  • 请注意,本文内容源自机器翻译,可能存在语法或其它翻译错误,仅供参考。如需获取准确内容,请参阅链接中的英语原文或自行翻译。

    感谢您的确认!

    我将关闭该主题帖。