This thread has been locked.

If you have a related question, please click the "Ask a related question" button in the top right corner. The newly created question will be automatically linked to this question.

[参考译文] TDA4VH-Q1:同一图像的量化模型和板载执行之间的不同推理结果

Guru**** 2378640 points
请注意,本文内容源自机器翻译,可能存在语法或其它翻译错误,仅供参考。如需获取准确内容,请参阅链接中的英语原文或自行翻译。

https://e2e.ti.com/support/processors-group/processors/f/processors-forum/1504786/tda4vh-q1-different-inference-results-between-quantized-model-and-on-board-execution-for-the-same-image

器件型号:TDA4VH-Q1
Thread 中讨论的其他器件:TDA4VH

工具/软件:

您好:

我目前正在我的 PC (通过 TIDL 编译)和 TDA4VH 电路板上使用 SDK 版本 vh0902运行量化分段模型。

在我的 PC 上,量化模型产生了三个类的合理且可区分的结果:背景(0)、目标(1)和非目标(2)。 但是、将相同模型部署到电路板时、推理输出似乎不正确-大多数像素是作为1类预测的、0类和2类很少(或从不)预测。

以下是我确认的内容:

同一输入图像用于 PC 和电路板推理。

该模型是使用相同的 TIDL 编译设置进行编译的。

其他模型(例如物体检测)在电路板上工作正常。

此问题似乎特定于此分割模型。

是否存在与 TDA4VH 上的量化模型行为或我应该检查的特定设置(例如激活范围、后处理、推理引擎设置)相关的任何已知问题?

如有任何帮助或建议、将不胜感激。

谢谢、
Minho Park。

  • 请注意,本文内容源自机器翻译,可能存在语法或其它翻译错误,仅供参考。如需获取准确内容,请参阅链接中的英语原文或自行翻译。

    你好、Minho、

    您能否提供您的模型、配置和命令行? 我假设您使用 OSRT、但如果您不使用、请告诉我。

    此致、

    Christina

  • 请注意,本文内容源自机器翻译,可能存在语法或其它翻译错误,仅供参考。如需获取准确内容,请参阅链接中的英语原文或自行翻译。

    尊敬的 Christina:

    感谢您的答复。

    是的、我使用的是自定义分割模型、它在其架构中包含了一个关注模块。 我想知道、使用注意机制是否会影响 PC 仿真(例如、使用 tidl_model_import.out)和 TDA4VH 上的板载推理结果之间的一致性?

    期待您的见解。

    此致、
    Minho

  • 请注意,本文内容源自机器翻译,可能存在语法或其它翻译错误,仅供参考。如需获取准确内容,请参阅链接中的英语原文或自行翻译。

    你好、Minho、

    我们无法在10.1.4.0上支持 TIDL 的 AN 注意层。 以下是所有受支持运算符的链接: https://github.com/TexasInstruments/edgeai-tidl-tools/blob/master/docs/supported_ops_rts_versions.md

    在 PC 仿真中、不受支持的层将在 ARM 上运行。 但是、板载时、这些不受支持的层将不起作用。

    此致、

    Christina

  • 请注意,本文内容源自机器翻译,可能存在语法或其它翻译错误,仅供参考。如需获取准确内容,请参阅链接中的英语原文或自行翻译。

    尊敬的 Christina:

    感谢您的澄清。

    我理解您关于不支持的层的观点。 但是、我目前使用的是 SDK 9.2、根据您分享的文档、基于 MatMul 和 DeiT 的 Vision Transformer 模型在此版本中列出为受支持。 这就是我期望模型中的关注模块在电路板上也能正常工作的原因。

    此致、
    Minho

  • 请注意,本文内容源自机器翻译,可能存在语法或其它翻译错误,仅供参考。如需获取准确内容,请参阅链接中的英语原文或自行翻译。

    你好、Minho、

    您能分享一下您的模型、以便我更好地理解吗? 我会更好地了解调查的途径。 此外、9.2在实现层方面存在许多错误、这些错误在新版本的 TIDL 工具中得到了修复。 您可以在此处看到更改: https://github.com/TexasInstruments/edgeai-tidl-tools/releases

    此致、

    Christina