[参考译文] TDA4VM：ISP 首次调优期间遇到的问题摘要

您好！

大多数团队成员都不在办公室。 请预计会延迟响应。

-基尔西

您好、

您好！

新年快乐！

抱歉、我无法正确看到您的用户名、因为它显示为"？ ？"。

Unknown 说：

生成 LDC LUT 和 LSC LUT 需要 Matlab 脚本。 但我不知道在哪里可以找到这些脚本。

其中包含 LDC 和 LSC 的 e2e 常见问题解答。

https://e2e.ti.com/support/processors-group/processors/f/processors-forum/1058565/faq-tda4vm-how-to-create-a-ldc-mesh-lut-for-fisheye-distortion-correction-on-tda4?keyMatch=LDC%20FAQ

https://e2e.ti.com/support/processors-group/processors/f/processors-forum/1405138/faq-tda4vm-how-to-create-lens-shading-correction-lut-for-vpac-viss-lsc

Unknown 说：

此外、我还下载了 processor_sdk_vision_03_08_00_00.bin。 但是、我不清楚此 SDK 的功能是什么以及它是否对我有用。

您下载的是 TDA3、而不是 TDA4。
我不知道你为何指的是它。

以下链接适用于 TDA4VM (J721e)。

www.ti.com/.../PROCESSOR-SDK-J721E

您正在使用哪些 TDA4 EVM 和 OS？

您好、

新年快乐！ 我刚刚更改了个人信息中的姓名。 哈哈。

我正在使用 TDA4VM (J721e)、目前有三个问题。

1.我有一个固定对焦摄像头,不需要调试自动对焦(AF )。 然而、如果我需要调优 AWB 和 AE、应该如何配置 H3A 中的一些 V 和 H 参数？  或者、如果不需要调节自动对焦(AF)、则无需调整整个 H3A 模块。

2.在色彩校正模块中,如何获得伽玛-对比度查找表?

谢谢。

尊敬的 Ying：

Unknown 说：

如果需要调优 AWB 和 AE、应如何配置 H3A 中的某些 V 和 H 参数？

可以从 python 脚本中的默认设置开始。

https://e2e.ti.com/support/processors-group/processors/f/processors-forum/1275034/faq-default-dcc-profile-generation-tool-for-tda4-am6xa-isp-vpac?tisearch=e2e-sitesearch&keymatch=%20user%3A35541

如果您对 AE/AWB 性能满意、则无需进一步更改。

Unknown 说：

我有一个固定对焦摄像头、不需要调试自动对焦(AF)。 [报价]

在这种情况下不需要 AF。

Unknown 说：

2.在颜色校正模块中、如何获得伽马-对比度查找表？

您可以将其留空。
这是可选的。

[/quote]

您好！

感谢您的帮助。

1.摄像机拍摄的视频流已镜像。 这是什么原因呢? 是摄像机寄存器配置问题。

2.由于镜头是凸透镜,DCC 在识别 XRite 色卡的色块方面可能不准确。 它是否会影响调试。

通常情况下、、应填写 H3A_INPUT_LSB 的值。

谢谢。

尊敬的 Gang：

我还有几个基本问题要问你。 我的传感器是 ox03c10。

1.您是否有 ox03c10_properties.txt 的相关配置。 如果有任何问题、那就太好了。

2.如果没有,你能告诉我如何填入 WDR 分解拐点, 我不能清楚地理解数据表中所述的内容。

3. 您能帮我检查一下我 的  ox03c10_properties.txt 文件是否正确吗?

SENSOR_WIDTH 1920
SENSOR_HEIGHT 1280

# 0=RGGB;  1=GRBG;  2=GBRG;  3=BGGR,  4=MONO,
#10=RGGI, 11=GRIG, 12=BGGI, 13=GBIG, 14=GIRG, 15=IGGR, 16=GIBG, 17=IGGB
COLOR_PATTERN 3

# sensor mode: 0 for linear (no decompanding), 1 for WDR (decompanding)
WDR_MODE 0

# raw sensor image BIT_DEPTH: it may be 8, 10, or 12 for linear sensors; typically 12 for WDR mode because of companding
BIT_DEPTH 12

# WDR BIT_DEPTH: WDR raw sensor image bitdepth after decompanding, typically 20 or 24
WDR_BIT_DEPTH 24

# WDR decompanding knee points (comma separated without spaces in between)
WDR_KNEE_X 0,512,1408,2176,4095,65535
WDR_KNEE_Y 0,2048,16384,65536,1048063,1048063

# Sensor black level to subtract before decompanding (for some Sony WDR sensors)
# When PCID is on for RGBIR sensors, black level might be set to 0
BLACK_PRE  0

# Sensor black level to subtract after decompanding (for most WDR sensors and all linear sensors)
# When PCID is on for RGBIR sensors, black level might be set to 0
BLACK_POST  0

# GAMMA value for compressing 20/24-bit WDR raw to 16-bit ISP internal
# typically around 50 (0.5) for 24-bit WDR sensors and 70 (0.7) for 20-bit sensors
GAMMA_PRE 60

# LSB location for H3A input bit range (from bit-H3A_INPUT_LSB to bit-H3A_INPUT_LSB+9) 
H3A_INPUT_LSB 2

我非常感谢。

嗨、Gang、

这是我的图像效果。

Unknown 说：

这是我的图像效果。

这对我来说也是合理的。
如果你得到正确的分解膝点,颜色可以更好。

嗨、Gang、

我正在学习生成 LDC LUT、这些参数是什么意思？pitch_in_mm = 0.0028；f_in_mm = 0.85。

2.我问过镜头制造商,他们说他们没有镜头阴影规格文件。那么如何生成 LDC LUT 呢?

非常感谢！

嗨、Gang、

非常感谢您的帮助、我真的很抱歉打扰您。

目前、DCC 软件在检索原始图像时崩溃。 日志显示以下错误。

Network_read: tmpDataSize = 0x50 recv returned 0xffffffff
Error : Network_read returned -1
 ITT_SERVER Error: recv() failed (port=5000) !!!
^Chandling interrupt.

在假期之前工作正常。 此外、我已经将代码恢复为原始 SDK 版本、但错误仍然存在。 我可以确认的是网络正常、文件可以传输。

尊敬的 Ying：

Unknown 说：

当前、DCC 软件在检索原始图像时崩溃。

我想您说的是使用调优工具从 EVM 捕获原始图像。

Unknown 说：

我可以确认的是网络正常、文件可以传输。

在这种情况下、我可以尝试使用 TI EVM 和 SDK 支持的摄像头来执行一些操作。

-重新启动我的电脑(与调优工具已安装),并启动一个新的项目来捕获原始图像

-卸载并重新安装调优工具,并重新启动 PC ,如果我怀疑这是调优工具的问题。

-使用一个预编译的二进制版本从 TI.com (例如,最新的10.1版本)闪存 SD 卡和测试再次捕获

-检查网络连接(防火墙等)和/或使用直接链接和静态 IP 没有任何路由器

-使用单摄像头应用程序中的"s"键捕获原始图像,以将原始图像保存在 SD 卡上,如果网络问题无法解决(例如防火墙)。

嗨、Gang、

感谢您的帮助、让我来解决很多问题。 现在、我想问您有关 AWB 和颜色校正的问题。

您能帮助我检查我调优的 AWB 效应是否正确、或者如何更改它吗。以下图像在调优前后显示

2.色彩校正优化我使用手动模式,并填充在 WDR 拐点。 为什么图像效果不会改变？  此外、如何调整这些坐标。

3.下面是我的一些图片

e2e.ti.com/.../2.rar

再次感谢您、期待您的回复

你(们)好

尊敬的 Ying：

Unknown 说：

我尝试了手动和自动调整,但结果不满意。  [报价]

请查看下面的应用手册并按照调色步骤进行操作。

https://www.ti.com/lit/pdf/sprad86

在调优工具输出预览时、颜色应该看起来不错(与上面的应用手册类似)。
确保按照调优工具中的插件指南正确输入 WDR 压扩拐点等。
BTW、最新的调优工具是 V3.2。

Unknown 说：

由于我的镜头是凸透镜、DCC 可能无法准确识别 XRite 色卡的色块。

这应该不是问题。
您可以将相机移离图表稍远一点、并将图表保持在失真较低的图像中心。

Unknown 说：

您能告诉我为什么 AWB 调整后图像变成全绿色吗？

由于调色效果尚未达到预期效果、您可能尚未将所需信息正确输入调色工具。
请仔细遵循应用手册和插件指南、以便首先正确进行调色输出、然后转到 AWB 校准。

[/quote]

嗨、Gang、

1、 我已经努力了,但仍然有轻微的扭曲。  我想谦逊地询问：如果 DCC 可能无法准确识别 XRite 色卡的颜色块、它是否会对白色-平衡算法产生影响？  在进行 LDC 校正后、是否有办法获得原始图像？

2. 您能告诉我如何区分图片是线性模式还是 WDR 模式吗?

尊敬的 Ying：

Unknown 说：

我已经努力、但仍然有轻微失真。  [报价]

您是说在选择色片时有一些镜头失真？
这通常不是问题、因为我们通常对鱼眼镜头执行相同的操作。

您能否分享您的调色输出结果？

Unknown 说：

我想谦卑地询问：如果 DCC 无法准确识别 XRite 色卡的颜色块、它是否会对白平衡算法产生影响？  [报价]

请分享您的补丁选择屏幕截图。
只要正确选择了增补程序、就不会出现问题。

Unknown 说：

2.  您能否告诉我如何区分图片是处于线性模式还是 WDR 模式？

[/quote]

您可以检查传感器驱动程序、以查看传感器配置为线性模式还是 WDR 模式。

如果调色输出看起来不正确、则应使用错误的模式。

[/quote][/quote]

Unknown 说：

在进行 LDC 校正后是否有办法获得原始图像？

LDC 校正后没有原始图像。

LDC 在 VISS 的 YUV 输出上工作。

嗨、Gang、

感谢您的帮助。  我试图通过放大图像来避免失真、现在这个问题已经解决了。  然而,我还有两个问题,我真的很抱歉给你麻烦。

1.室内拍摄的原始图像总体呈绿色-着色,如下图所示。 这是否正常？ 如果不能、原因可能是什么？

2.我想知道您是否可以为颜色校正模块提供一组粗略参数。   我已经仔细阅读了参考文件很多次,但我仍然不能调整和平衡这些参数。 我相信你必须有办法做到这一点。 下图显示了我在4000K 环境中拍摄的图像。  顺便说一下、调整色彩校正模块是否需要定义光谱并调整每个光子间隔？

e2e.ti.com/.../4000k.rar

我真的很感激你。

Unknown 说：

1.室内拍摄的原始图像总体上呈绿色-着色、如下图所示。 这是否正常？ 如果不是、原因可能是什么？

这不正常。

您是否 为灯箱测试场景获得了良好的颜色和 Wb (您在哪里进行了调色)？
请分享您的 WB 校准 xml 文件、以便我们进行确认。

Unknown 说：

2.我想知道您能否为我提供一组用于颜色校正模块的粗略参数。  [报价]

除了调优工具之外、我们没有任何其他过程。

Unknown 说：

下图显示了我在4000K 环境中捕获的图像。  [报价]

您能否与该图像和所有其他用于调色的输入(拐点等)共享一个简单的调优工具项目？
然后、我们可以检查您的调色结果。

如果您能够在项目中包括 WB 校准、我们可以一起进行检查。

[/quote]

嗨、Gang、

非常感谢您的答复。

这些是我收集的图像和 XML 文件。

e2e.ti.com/.../image-and-xml.rar

这是我的项目文件。

e2e.ti.com/.../0118.rar

3.顺便说一下、您能否介绍一下 ISP 调优的管道？ 因为我觉得我的电流调节是混沌的。

我真的很感激你。

尊敬的 Ying：

您的传感器压扩拐点是什么？

您的"WDR.txt"不可读。

e2e.ti.com/.../wdr.txt

尊敬的 Gang：

抱歉、我的计算机已加密。  我只能通过这种方式发送给您。

wdr.txt

0  	0
1023	1023
1279	2047
1279	2047
1535	4095
1791	8191
2047	12287
2303	16383
2431	20479
2559	24575
2687	32767
2815	40959
2943	49151
3007	57343
3071	65535
3135	81919
3199	98303
3263	114687
3327	131071
3391	163839
3455	196607
3519	262143
3583	393215
3647	524287
3711	786431
3775	1048575
3839	1572863
3903	2097151
3967	3145727
3999	4194303
4031	8388607
4063	12582911
4095	16777215
4095	16777215

我真的很感激你。

尊敬的 Ying：

您的"WDR.txt"无效、因为它有重复的行。

请尝试使用此功能并在必要时重新启动项目或调优工具。

0 0
1023 1023
1279 2047.
1535 4095
1791 8191
2047 12287.
2303 16383.
2431 20479
2559 24575
2687 32767
2815 40959
2943 49151.
3007 57343
3071 65535
3135 81919
3199 98303
3263 114687
3327 131071.
3391 163839.
3455 196607.
3519 262143.
3583 393215
3647 524287.
3711 786431
3775 1048575
3839 1572863
3903 2097151
3967 3145727.
3999 4194303
4031 8388607
4063 12582911.
4095 16777215.

嗨、Gang、

1.我已经修改了"WDR.txt"  但是、我发现 ox03c10_awb_alg_ti3_tuning.xml 编译生成的文件的效果  ox03c10_properties.txt 几乎是正确的。 但 当我 ox03c10_awb_alg_ti3_tuning.xml 使用 DCC 的 AWB 模块生成时、结果显示为绿色色调。  造成这一结果的原因可能是什么？  我的步骤应该不会有任何问题、对吧？

e2e.ti.com/.../3051.ox03c10_5F00_awb_5F00_alg_5F00_ti3_5F00_tuning.rar

2. 您能帮我检查项目中的调色结果吗?

谢谢。

您好、

1.如果我在没有任何 ISP 处理的情况下捕获的原始图像显示为绿色,是否会对 ISP 调试产生影响?  如图所示。

尊敬的 Ying：

Unknown 说：

我已经修改了"WDR.txt"。

这是纠正设置的第一步。

Unknown 说：

产生这一结果的原因何在？

使用 AWB 校准中的原始图像时、您的拐点和基座看起来不好。
请查看 AWB 插件指南、以了解 AWB 的预期输出图应该是什么样的。

您的 AWB 校准输出看起来非常不同和错误、如下所示。
您需要检查是否在传感器驱动程序中使用了正确的拐点和基座设置。

该问题也反映在颜色校正中、因为输出中的颜色输出不一致(尽管优于使用错误的 WDR.txt)。

Unknown 说：

如果我在没有进行任何 ISP 处理的情况下捕获的原始图像显示为绿色、它是否会对 ISP 调试产生影响？  [报价]

传感器原始图像中的颜色色调很常见、这是预期行为。

Unknown 说：

 使用灯箱采集图像时、需要调整色温。 然后、应将灯箱中的亮度调节到什么水平？

对于 WDR 传感器、只要色图不坏、曝光过度或曝光不足、这通常不是问题。

[/quote]

尊敬的 Ying：

因为您几乎没有使用原始图像传感器和调色的背景。
我建议您与传感器供应商和传感器驱动程序开发人员讨论传感器使用的 WDR 压扩拐点和基座值等的确切传感器设置(如您已捕获的原始图像中所示)。

您还可以考虑与过去拥有原始图像传感器和 ISP 调优经验的成像第三方合作。
至少、您需要一位本地人员、他们可以帮助您对可能 意外出错的简单事物进行基本和频繁的验证。
在 e2e 上、您可以帮助完成有关使用调优工具和 ISP 的基本操作、但这远不及成像第三方为您的开发和生产流程提供的服务。

你(们)好

我明白你的意思。 非常感谢您的帮助。  接下来、我将再次检查传感器驱动程序中的设置。  再次感谢你。

您好、

1.您能介绍一下 ISP 调优的管道吗？  

第三方是否为当地的 TI 团队？  或者我是否需要自己找到第三方合作？

尊敬的 Ying：

Unknown 说：

1.您能告诉我 ISP 调优的流水线吗？  [报价]

这不是一个严格的过程,你必须一步一步地遵循,因为调谐是迭代的许多轮室内和室外测试和调谐。
您可以按照应用手册操作、以了解简化流程 https://www.ti.com/lit/pdf/spracu7
如果您没有经验丰富的成像第三方来支持您、那么进行现场测试可能会变得更加困难。

Unknown 说：

2.第三方是当地的 TI 团队吗？  或者我需要自己找到第三方合作吗？

成像第三方是专用于摄像头/ISP 调优的独立服务提供商。
您可以查看当地的 TI 联系人、了解他们是否有任何建议。

[/quote]

您好！

我已经多次检查了收集的色温图、拐点文件和黑电平值。 我相信这三项内容都是正确的。 那么、我的 AWB 校准为什么这么杂乱？ 而且、我在 e2e 上发现了其他人的 X3C 图像和拐点、但我仍然无法复制他们正确的 AWB 校准结果。 我已经实时检查了 AWB 参数、发现 G Gain 的值为1、而 B Gain 和 R Gain 的值相对较低。 我想问一下、是否有办法解决这些问题？  

非常感谢！

尊敬的 Ying：

Unknown 说：

我已多次检查收集的色温图、拐点文件和黑电平值。 我确信这三项正确。

感谢您的验证！

Unknown 说：

为什么我的 AWB 校准这么凌乱？

这是因为原始图像中的颜色不一致、例如、灰行色块具有不同的颜色。
它通常是由使用错误的压扩拐点和/或基座值引起的。
如果这些设置在传感器设置中均正确、则可能是光学问题。
我建议您与传感器供应商共享原始图像、以检查传感器设置和颜色一致性。

这取决于实际场景和校准。
AWB 在真实/复杂场景中并不总是准确的,但它应该适用于校准灯。

嗨、Gang、

在过去两天、我对 AWB 和颜色校正做出了巨大改进。  在 DCC 中调试后、颜色校正和 AWB 的效果很好、但是当 xml 应用到开发板时、颜色基本正确、但总体效果有点绿。  单独应用 AWB.xml 文件不会出现问题。 但是、应用颜色校正后、图像会变为绿色。  这里是我的项目文件。 请帮我检查一下吗？  您对此有何看法？  

谢谢！

e2e.ti.com/.../CC.rar

尊敬的 Ying：

Unknown 说：

在过去两天里、我对我的 AWB 和色彩校正做了重大改进。  [报价]

真是个好消息。

Unknown 说：

在 DCC 中调试后、色彩校正和 AWB 的效果良好。

您能否分享您用于 AWB 校准的 xml 文件？

Unknown 说：

然而、当将 xml 应用于开发板时、颜色基本正确、但总体效果有点绿色。  [报价]

这意味着 AWB 不能正常工作。
您可以检查在 AWB 校准中输入的伽玛值是否与在 CFAI+WDR 和 H3A 插件中输入的伽玛值相同。
相关信息请参阅插件指南。

[/quote]

尊敬的 Ying：

我看到的一个问题是、您不应该使用 BLC 插件、因为您有一个 WDR 传感器。
请遵循 BLC 插件指南(以红色标记)。

从 python 脚本 xml 文件开始、然后仅检入 AWB 和 CCM xml 文件来查看是否可以使 AWB 正常工作、这可能会更简单。

嗨、Gang、

感谢您的回答。 "我想问问你。"

1. 我的 X3C 是 WDR 传感器。  是否需要同时针对线性模式和 WDR 模式执行 ISP 调优？

2. 我在 ox03c10_properties.txt 文件切换到 WDR 模式后,室内的摄像头视图几乎是完全黑的。  在我调了 CFAI + WDR 后,画面仍然 略有暗。  我可以问如何优化这种现象吗？

此致！

您好、

1.请问我的理解是否正确? TDA4的 ISP 调优有两种模式。 一种是线性模式、另一种是 WDR 模式。 即使传感器处于 WDR 模式、也需要根据应用场景对两种模式进行调试、对吧？

2.如果是这种情况,那么我遇到了一个问题。 每个插件在 WDR 模式下的调试结果都很好、但在线性模式下、AWB 效果不令人满意。

此致！

嗨、Gang、

我的 ISP 调优基本上已经完成、效果很好。 我非常感谢您的帮助。

我目前正在整理 ISP 调优技术文档。  有一些详细的问题我想咨询。

1. 这三张图是什么意思? 水平轴和垂直轴代表什么？  我仔细查阅了 AWB 插件指南、但没有更多说明。

2.在 WDR 模式下,相机存在严重的光抑制问题,图像非常暗。 调试 CFA + WDR 模式后、图像会变得更亮。 请问这是 WDR 或 GLBCE 的影响吗？

谢谢！

尊敬的 Ying：

Unknown 说：

我的 ISP 调优基本已完成、效果良好。

这是个好消息！

Unknown 说：

1.  这三个图是什么意思？ 水平轴和垂直轴代表什么？  我仔细查阅了 AWB 插件指南,但没有更多的解释。[/报价]

这些用于 您为 AWB 调优提供的校准灯/图像。
请参阅插件指南以获取此处的图示。

Unknown 说：

2. 在 WDR 模式下、摄像头存在严重的光抑制问题、图像非常暗。 调试 CFA + WDR 模式后、图像会变得更亮。 我想问一下这是 WDR 还是 GLBCE 的影响吗?[/报价]

我不确定"光抑制问题"是什么意思。
但是、是的、调优"CFA+WDR"是获得从某种意义上来说明亮输出图像的主要方法。

[/quote]

BTW、下面的最新图表与上一个图表之间存在差异的原因是什么？

如果你使用正确的拐点和黑度,我不会期望坏的一个发生。