[参考译文] TDA4AL-Q1：AE 收敛不稳定和寻找

尊敬的 Will：

Unknown 说：

日志显示 Imx729需要两个操作帧

这 是发送曝光更改请求和图像曝光在接收到的图像中发生更改之间的延迟。

Unknown 说：

我们如何在两个框架内控制增益和汞的一致性？

我不确定我是否理解你的问题。
我们可以每隔几个帧运行一次 AE (以便在 AE 执行下一个操作之前更改曝光)、也可以在每一帧使用较小的曝光更改步骤。

第一种方法可能很慢、因为传感器曝光会以较低的频率变化 、或者如果 需要较大的步长、更容易出现闪烁。第二种方法是减少 AE 代码中的曝光步长、如下所示。

https://git.ti.com/cgit/processor-sdk/imaging/tree/algos/ae/main#n446。src /TI_aaa_ae.c？h=main#n446

为了实现更快的 AE 响应、每个帧不应有较大的曝光变化、并且传感器曝光逐帧更改。
对于较小的 AE 步长、输出视频应该没有 WDR 传感器明显的闪烁。

2.增益阶跃几乎等于1000增益

28245至35306

我们可以控制阶跃值吗？

如果这些值为线性增益格式、即35306/28245 = 1.25x、则没关系。

如果它们采用 dB 格式、则增益变化可能过大。

AE 中的增益值应该是线性的。

Unknown 说：

模块：Imx729

顺便说一下、这是哪个模块？

尊敬的 Gang：

抱歉、传感器是 IMX728

这 是发送曝光更改请求和图像曝光在接收到的图像中发生更改之间的延迟。

是的、由于传感器图像的2帧延迟、它会导致 AE 打猎

例如：

第一个帧：cyd=10、AE 将增益从10增加到20

第二个帧： 汞仍然= 10、AE 将增益从20增加到30 (因为汞仍然= 10)

三 边框： Still = 10、AE 将增益从30增加到40 (因为 Cancy 仍然= 10)

它会导致 AE 过度接触、因此 AE 需要 再次收敛  

此平台是否支持此问题？

如果我再次增加、则跳过2次 汞计算

谢谢

尊敬的 Will：

是的、由于传感器图像的2帧延迟、它会导致 AE 打猎

是的、当您的 AE 更改步长过大时、可能会发生这种情况、从而导致过度投照和投照不足。

它会导致 AE 过度接触、因此 AE 需要 再次收敛  

它取决于 AE 调整策略和曝光变化步长。

此平台是否支持此问题？

如上所述、有几种选择。

1.降低 AE 向传感器发送曝光变化的频率(例如,AE 每3帧运行一次)。
这可以通过在 openvx aewb 内核()aewb_config->ae_num_skip_frames或 AEh->frame_num_period ()中设置 AE 跳过周期来完成。
这非常适合线性传感器、但如果由于色调映射而每帧曝光变化较大、则 WDR 传感器有时可能会闪烁。

https://git.ti.com/cgit/processor-sdk/imaging/tree/kernels/aewb/arm/vx_aewb_target.c?h=main#n671

https://git.ti.com/cgit/processor-sdk/imaging/tree/algos/ae/src main/TI_aaa_ae.c？h=main#n150

2.让 AE 运行,并使每个帧的传感器曝光变化与受控步长,使 AE 快速收敛,没有明显的闪烁(如上所述,在当前的 SDK 中使用 IMX728/IMX390驱动程序)。

Hi Gang Hua、

最近、我们在 TI_aaa_ae.c 中发现了一些与步长修改相关的代码

(1)对于以下代码、它似乎限制了步长范围并将其调整为整数、但我们不确定是否可以使用它来修改 AEC 收敛的步长。

static int search_range_ATG_dec_gain(int32_t adjRatio,
        int32_t cA, int32_t cT, int32_t cAG, int32_t cDG,
        tiae_range_t rA, tiae_range_t rT, tiae_range_t rAG,
        tiae_range_t rDG, int32_t Tstep, int32_t *pA, int32_t *pT,
        int32_t *pAG, int32_t *pDG)
{
    int32_t Tmin = (rT.min+Tstep-1) / Tstep * Tstep;
    int32_t Tmax = rT.max / Tstep * Tstep;
    if (Tmin > Tmax || Tmin <= 0)
    {
        Tmin = Tmax;
(2) As we checked in debug log, while adjRatio > 1280, it will use (1280/1024=1.25)as step size to do AE convergernce.
We'd like to know if we should use below code for AEC step size modification.

if (currentY < 1) currentY = 1;
    int32_t adjRatio = exp_prog->target_brightness * 1024 / currentY;
    int32_t delta = 1024/40;
    
    if (adjRatio > 1280)
    {
        adjRatio = 1280;
    }
    else if (adjRatio < 819)
    {
        adjRatio = 819;
    }
    else if (adjRatio > 1024 + delta)
    {
        adjRatio = 1024 + delta;
    }
    else if (adjRatio < 1024 - delta)
    {
        adjRatio = 1024 - delta;
    }

Hi Gang Hua、

那么、我是否可以知道以下描述是否正确？  

(1)用于 减少 IMX623/IMX728等 WDR 传感器的闪烁

(2)用于 AE 收敛用途  

尊敬的 Taylar：

CHANGKAI LI 说：

我们将该步骤限制为足够小、以便有助于减少 IMX623/IMX728等 WDR 传感器的闪烁。
[/报价]

这就是我的意思。

Hi Gang Hua、

以下代码是否用于 AE 融合？

if (currentY < 1) currentY = 1;
    int32_t adjRatio = exp_prog->target_brightness * 1024 / currentY;
    int32_t delta = 1024/40;
    
    if (adjRatio > 1280)
    {
        adjRatio = 1280;
    }
    else if (adjRatio < 819)
    {
        adjRatio = 819;
    }
    else if (adjRatio > 1024 + delta)
    {
        adjRatio = 1024 + delta;
    }
    else if (adjRatio < 1024 - delta)
    {
        adjRatio = 1024 - delta;

以下代码是否用于 AE 融合？

是的、这用于确定曝光调整步长。

Hi Gang Hua、

感谢你的帮助。

我们将最大 adjRatio 降低至1024/40 (2.5%)

减少了闪烁、我们将尝试找到自适应 adjRatio

如前所述、WDR 会导致图像闪烁

如果我们希望保持较大的 adjRatio 来实现收敛速度、我们如何缓解闪烁问题？

调整参数或传感器设置来确定？

谢谢

尊敬的 Will：

相对稳定的条件需要较小的增量(1024/40)。

大型(1,280,819)是为了快速赶上大变化(例如,进入或离开隧道)。

Hi Gang Hua、

如果我这样说,这还可以吗? 闪烁问题是传感器 WDR 模式现象
如果我想改进此问题、我们需要模块供应商对其进行改进
TI 平台不会导致帧闪烁

谢谢

Hi Gang Hua、

让我 再谈谈我们的实验

实际上、 当 AE 收敛时、会出现短暂的闪烁。

使用 TI_aaa_ae.c 中的 TI 默认代码：

    int32_t adjRatio = exp_prog->target_brightness * 1024 / currentY;
    int32_t delta = 1024/40;
    
    if (adjRatio > 1280)
    {
        adjRatio = 1280;
    }
    else if (adjRatio < 819)
    {
        adjRatio = 819;
    }
    else if (adjRatio > 1024 + delta)
    {
        adjRatio = 1024 + delta;
    }
    else if (adjRatio < 1024 - delta)
    {
        adjRatio = 1024 - delta;
    }

我们会观察 AE 收敛期间的闪烁。

e2e.ti.com/.../4331.original.mp4

在我注释将 adjRatio 限制为+/- 2.5%的代码后、闪烁现象消失了。

    int32_t adjRatio = exp_prog->target_brightness * 1024 / currentY;
    int32_t delta = 1024/40;
    
    // if (adjRatio > 1280)
    // {
    //     adjRatio = 1280;
    // }
    // else if (adjRatio < 819)
    // {
    //     adjRatio = 819;
    // }
    // else if (adjRatio > 1024 + delta)
    if (adjRatio > 1024 + delta)
    {
        adjRatio = 1024 + delta;
    }
    else if (adjRatio < 1024 - delta)
    {
        adjRatio = 1024 - delta;
    }

e2e.ti.com/.../limit_5F00_2d5percent.mp4

我们不知道 TI AE ALGO 期间 AE 为什么会闪烁。

这是由带 WDR 模式设置的 IMX728引起的吗？

尊敬的 Will：

Unknown 说：

如果我这样说可以吗？ 闪烁问题是传感器 WDR 模式现象
如果我想改进此问题、我们需要模块供应商对其进行改进
TI 平台不会导致帧闪烁

由于不同的原因、可能会发生闪烁。
我们正在 讨论的问题应该与 AE 调整步长和局部色调映射(GLBCE)上下文相关。

GLBCE 在统计上下文收集和应用方面有一个延迟帧。
一般情况下,AE 应使用较小的步长,使其不会进入 GLBCE 赛车状态  

您好、Steven：

感谢您分享视频！

Unknown 说：

它是由 IMX728和 WDR 模式设置引起的吗？

我无法确定正在发生什么。
在这种情况下、AE 似乎必须增加曝光、步长太大。
您能否打印出有关平均亮度和更改决策的 AE 信息？

我不能确定场景有多暗、以便 AE 进行补偿。
从视觉上看、AE 在大型步骤中的变化不大。
您可以尝试小于2.5%的数字、看看何时会更好。

BTW、SDK AE/AWB 代码仅用于参考和演示(未就绪生产)。
 使用您的传感器时、我们预计会出现一些问题。

Hi Gang Hua、

感谢您的解释！

您能否打印出有关平均亮度和更改决策的 AE 信息？

-->当然、我在 TI_aaa_ae.c 中启用了 AE_DEBUG、并在下面提供相应的视频和日志：

实验1. TI 默认 adjRatio 设置(亮度变化期间 AE 闪烁)：

    int32_t adjRatio = exp_prog->target_brightness * 1024 / currentY;
    int32_t delta = 1024/40;
    
    if (adjRatio > 1280)
    {
        adjRatio = 1280;
    }
    else if (adjRatio < 819)
    {
        adjRatio = 819;
    }
    else if (adjRatio > 1024 + delta)
    {
        adjRatio = 1024 + delta;
    }
    else if (adjRatio < 1024 - delta)
    {
        adjRatio = 1024 - delta;
    }

视频：

e2e.ti.com/.../8508.0424_5F00_TI_5F00_default_5F00_adjRatio_5F00_setting.mp4

上述视频的相应 AE 日志： e2e.ti.com/.../6445.0424_5F00_TI_5F00_default_5F00_adjRatio_5F00_setting.txt

实验2. 将 adjRatio 限制在2.5%(我们在亮度变化期间不会看到明显的闪烁、AE 收敛看起来更平滑)：

    int32_t adjRatio = exp_prog->target_brightness * 1024 / currentY;
    int32_t delta = 1024/40;
    
    // if (adjRatio > 1280)
    // {
    //     adjRatio = 1280;
    // }
    // else if (adjRatio < 819)
    // {
    //     adjRatio = 819;
    // }
    // else if (adjRatio > 1024 + delta)
    if (adjRatio > 1024 + delta)
    {
        adjRatio = 1024 + delta;
    }
    else if (adjRatio < 1024 - delta)
    {
        adjRatio = 1024 - delta;
    }
    

视频：

e2e.ti.com/.../6445.0424_5F00_TI_5F00_remove_5F00_adjRatio_5F00_1280_5F00_and_5F00_819_5F00_setting.mp4

上述视频的相应 AE 日志： e2e.ti.com/.../2235.0424_5F00_TI_5F00_remove_5F00_adjRatio_5F00_1280_5F00_and_5F00_819_5F00_setting.txt

我们能否确认 AE 闪烁是由较大的 adjRatio (步长)引起的？ 尽管我观察到在实验1和2的 AE 日志中,和 sp1hA 增益都是按顺序增加/减少的?

谢谢

您好、Steven：

感谢您的分享！

Unknown 说：

尽管我观察到在实验1和2的 AE 日志中、cury 和 sp1hAgain 都是按顺序增加/减少的？

这似乎是正确的、因为我也没有看到来自 AE 输出的任何明显的欠注/过注。

Unknown 说：

那么、我们能否确认 AE 闪烁是由较大的 adjRatio (步长)引起的？ [/报价]

我不能确定。
TI 的合作方使用 IMX623在汽车上仔细测试了相同的步长、并且未观察到不良闪烁。
我不确定您的 IMX728设置与 IMX623之间可能存在的差异有哪些重要影响。

我们需要较大的步长、以便在场景快速变得更亮和更暗时快速调整曝光。

Hi Gang Hua、

感谢您的答复。

由于 相同的步长可以在 IMX623上正常工作 、并且我们的 Cancy 和 sp1hAgain AE 输出没有明显的下冲/过冲、

然后、我根据您之前的建议检查 IMX728调优参数(IMX728_viss_glbce.xml)中的 GLBCE 函数。

我们当前的 GLBCE 设置如下(亮度变化期间存在闪烁)：

<viss_glbce_dcc type="viss_glbce">
			{
                255, //strength
                12,  //intensity_var
                7,   //space_var
                64,  //slope_min_lim
                72,  //slope_max_lim
                1,
                {    //fwd_prcpt_lut
                    0, 4622, 8653, 11684, 14195, 16380, 18335, 20118, 21766, 23304,
                    24751, 26119, 27422, 28665, 29857, 31003, 32108, 33176, 34209, 35211,
                    36185, 37132, 38055, 38955, 39834, 40693, 41533, 42355, 43161, 43951,
                    44727, 45488, 46236, 46971, 47694, 48405, 49106, 49795, 50475, 51145,
                    51805, 52456, 53099, 53733, 54360, 54978, 55589, 56193, 56789, 57379,
                    57963, 58539, 59110, 59675, 60234, 60787, 61335, 61877, 62414, 62946,
                    63473, 63996, 64513, 65026, 65535,

                },
                1,
                {    //rev_prcpt_lut
                    0, 228, 455, 683, 910, 1138, 1369, 1628, 1912, 2221,
                    2556, 2916, 3304, 3717, 4158, 4626, 5122, 5645, 6197, 6777,
                    7386, 8024, 8691, 9387, 10113, 10869, 11654, 12471, 13317, 14194,
                    15103, 16042, 17012, 18014, 19048, 20113, 21210, 22340, 23501, 24696,
                    25922, 27182, 28475, 29800, 31159, 32552, 33977, 35437, 36930, 38458,
                    40019, 41615, 43245, 44910, 46609, 48343, 50112, 51916, 53755, 55630,
                    57539, 59485, 61466, 63482, 65535
                },
                {    //asym_lut
				  #include "asym_lut.txt"
                },
			  }
            </viss_glbce_dcc>

然后、将强度从255设置为0、预览看起来更暗、但在亮度变化期间没有闪烁现象。

因此、我想检查原因是否来自 GLBCE。

但是、DCC 工具中的文档(VPAC3_CFA_WDR_PLUGIN_GUIDE.pdf)对 GLBCE 调优参数没有太多说明。

有没有其他指南让我们做一些 GLBCE 调整?

非常感谢！

您好、Steven：

Unknown 说：

然后我将强度从255设置为0,预览看起来更暗,但在亮度变化期间没有闪烁现象。

这将禁用 GLBCE。

Unknown 说：

所以我想检查原因是否来自 GLBCE。

正如我们之前讨论过的、GLBCE 无疑是问题的一部分。

我们必须限制 AE 步长、使 AE 和 GLBCE 不会进入赛车状态。

但是、DCC 工具中的文档(VPAC3_CFA_WDR_PLUGIN_GUIDE.pdf)对 GLBCE 调优参数没有太多说明。

有没有其他指南让我们做一些 GLBCE 调整?

特定于工程的规范。

Hi Gang Hua、

感谢您的解释  

VPAC3_CFA_WDR_plugin_guide.pdf

伽玛–WDR 块应用来自(解压缩位宽)=>(输出位宽)的全局音调映射

例如、传感器生成20位输出、并与12位同步、WDR 块将解析为12b => 20b、然后应用 GTM 来转换20b => 16b

这意味着传感器输出 WDR 映像 和解压缩从12b 到20b、并且 TI 将应用 GTM 并 转换20b => 16b？

最终的图像效果是传感器 WDR + GTM 吗？  

是否可以调整以下值以使 AE 更稳定？

谢谢

尊敬的 Will：

Unknown 说：

这意味着传感器输出 WDR 映像 和解压缩的范围为12b 至20b、并且 TI 将应用 GTM 并 转换20b => 16b？

是的、这用于将 WDR 图像转换为 ISP 内部16位位深度以进行处理。

它将在 GLBCE 之后和 CFAI 之前恢复以恢复线性颜色。

Unknown 说：

是否可以调整以下值以使 AE 更稳定？

GLBCE 参数可能对统计背景的时间延迟有不同的响应。
但是、GLBCE 参数主要用于帧内行为。

Hi Gang Hua、

感谢您的答复!

我们有一个 TRM 文档"SPRUJ52B - J782S4技术参考手册.pdf"。

第6.7.3.5.5章规定、GLBCE 根据帧 N 生成统计量、然后应用于帧 N+1。

根据我的理解,如果帧 N 和 N+1之间的亮度变化很大(例如,当汽车进入或退出隧道时),由于 GLBCE 算法设计有一个帧延迟应用,GLBCE 可能不适合帧 N+1 , 这是正确的吗?

如果是、由于我们的应用用于 ADAS、  

在尽可能减少 AE 步长的变化(以保持 AE 收敛速度)的同时、

是否有任何相关的 GLBCE 参数来缓解甚至消除闪烁问题?

或者 有没有一种方法可以 减少 AE  步长一点加一些修改 GLBCE 达到我的目的?

谢谢、

Steven

您好、Steven：

根据我的理解,如果帧 N 和 N+1之间的亮度变化很大(例如,当汽车进入或退出隧道时),由于 GLBCE 算法设计有一个帧延迟应用,GLBCE 可能不适合帧 N+1 , 这是正确的吗?

是的、它是关于帧和连续性之间的差异。
AE 和 GLBCE 之间存在比赛条件。
这两个图像可能会同时在 N 帧上照亮图像、这会使 N 帧比预期更亮。
如果帧 N 处只有一个较大的曝光变化(之后没有更多变化)、则帧 N+1将更暗、帧 N 是过冲(闪烁)。

因此、我们希望以更小的步骤更改曝光、以减少闪烁。

实际上、与传感器帧速率相比、曝光变化是渐进的(绝不会发生单帧变化)。

如果是、由于我们的应用用于 ADAS、  

在尽可能减少 AE 步长的变化(以保持 AE 收敛速度)的同时、

我不知道有关最终应用的所有详细信息、但许多 ADAS 客户会调整 AE 步长和帧速率、使 AE 速度足以适应可能的路况。