This thread has been locked.

If you have a related question, please click the "Ask a related question" button in the top right corner. The newly created question will be automatically linked to this question.

[参考译文] SK-AM62A-LP:CPU 和 C7x 上的推理精度

Guru**** 2451970 points
Other Parts Discussed in Thread: SK-AM62A-LP

请注意,本文内容源自机器翻译,可能存在语法或其它翻译错误,仅供参考。如需获取准确内容,请参阅链接中的英语原文或自行翻译。

https://e2e.ti.com/support/processors-group/processors/f/processors-forum/1549561/sk-am62a-lp-inference-accuracy-on-cpu-and-c7x

器件型号:SK-AM62A-LP


工具/软件:

在上一个 问题中, 我问是否可以将 Google Mediapipe 面部地标模型与 TIDL 配合使用,但得到的答案是不可行。
我回答说,我会搜索替代模型,但在此之前,我尝试用 Relu 节点替换 PReLU 节点并运行它。

e2e.ti.com/.../face_5F00_landmark_5F00_relu.zip
编译:Ubuntu 22.04、EdgeAI-TIDLad-tools 10_01_04_00
运行:SK-AM62A-LP、Processor-SDK 10_01_00_05
推理结果是 berow(左侧在 CPU 上、右侧在 C7x 上)

结果表明在 CPU 和 C7x 上运行之间的精度存在差异。
当输入为正面正面的面部图像时、卸载的模型将返回更好的结果。
这是否有任何原因,还是只是巧合?
校准不会使模型比原始模型更准确、对吧?

  • 请注意,本文内容源自机器翻译,可能存在语法或其它翻译错误,仅供参考。如需获取准确内容,请参阅链接中的英语原文或自行翻译。

    您好:

    这是一个有趣的观察。 这看起来分别是 CPU 和 C7x 的一些实例、它们的性能优于另一个。 我明白您的意思

    我尝试用 Relu 节点替换 PReLU 节点并运行它。

    这意味着您要同时查看 CPU 和 C7x 的模型没有任何 PreLU、对吗? 您能确认它是同一型号吗? 您是否使用 tensor_bits 设置(默认为 8 位)量化了模型?

    我倾向于称这是巧合。 很难说当某个更改的激活函数改变了数据分布而没有经过重新训练时模型内部会发生什么。  

    校准不会使模型比原始模型更准确、对吧?

    没错。 如果它看起来更准确、则可能是随机的机会。 定点校准是一个固有的有损耗过程。 在该过程中会不可避免地损失一些信息和精度、量化期间的目标是通过良好的校准数据(以及一些其他技术)尽可能减小这种误差。  

    可能其中一些丢失的信息对数据集的子集很有用。 通常,信息丢失会降低准确性,但由于这种模型是在未经重新训练的情况下修改的,因此这种更改肯定会产生一些看似有益的意外影响。

    我不建议使用这个模型、但这是一个很好的实验--产出比我预期的更合理

    BR、
    Reese

  • 请注意,本文内容源自机器翻译,可能存在语法或其它翻译错误,仅供参考。如需获取准确内容,请参阅链接中的英语原文或自行翻译。

    您好 Reese

    感谢您的答复。
    我认为情况可能是这样,但很高兴听到专家的意见。
    我将进一步探索这款车型。

    此致、
    Fumiya