This thread has been locked.

If you have a related question, please click the "Ask a related question" button in the top right corner. The newly created question will be automatically linked to this question.

[参考译文] TDA4VM:模型量化精度损失

Guru**** 2479925 points


请注意,本文内容源自机器翻译,可能存在语法或其它翻译错误,仅供参考。如需获取准确内容,请参阅链接中的英语原文或自行翻译。

https://e2e.ti.com/support/processors-group/processors/f/processors-forum/1071252/tda4vm-model-quantization-accuracy-loss

部件号:TDA4VM
“线程:测试”中讨论的其它部件

448*448模型量化精度损失


1.使用量化文件

建模类型     = 2 
numParamBits=8
numFeatureBits  =8
quantizationStyle =2
输入网络文件   ="/root/model/zh_yola/model/2_stage/20220114_two_stage/export_ssd_2stage448.onnx"
outputNetFile  ="/root/model/zh_yola/model/2_stage/20220114_two_stage/out/tidl_net_448_Reg.bin"
输出参数文件 ="/root/model/zh_yola/model/2_stage/20220114_two_stage/out/tidl_io_448_Re_"
inDataNorm = 1.
单位= 128 128 128 128
内刻度= 0.0078125 0.0078125 0.0078125
InDataFormat = 0
InWidth = 448
InHeight = 448
inNumChannels =3
NumFrames =100
inData =/root/model-8.0/model/Front_detect_model/DRA_imgs/dra_image_list_dra_448.txt
后处理类型= 1
#perfSimConfig =.//./test/testvecs/config/import/perfsim_base.cfg

2.使用环境

型号:v0.63

SDK:8.0

3.problem 现象

电脑:

PC

仿真器:

描述:

在量化之前,模型精确定位前后目标框,但量化后,模型在前后目标框中有较大偏差。

  • 请注意,本文内容源自机器翻译,可能存在语法或其它翻译错误,仅供参考。如需获取准确内容,请参阅链接中的英语原文或自行翻译。

    您好,

      有关调试量化损失的信息,请参阅以下故障排除步骤:

    https://software-dl.ti.com/jacinto7/esd/processor-sdk-rtos-jacinto7/08_01_00_11/exports/docs/tidl_j7_08_01_00_05/ti_dl/docs/user_guide_html/md_tidl_fsg_steps_to_debug_mismatch.html

    此致,

    本州

  • 请注意,本文内容源自机器翻译,可能存在语法或其它翻译错误,仅供参考。如需获取准确内容,请参阅链接中的英语原文或自行翻译。

    e2e.ti.com/.../model_5F00_results.zip

    我的问题是主机仿真和 EVM 结果之间不一致。

    :调查得出以下结论

    1. PC 结果与 PC 仿真器(量化后的主机仿真)结果类似,但 EVM 执行结果和 PC 仿真在量化后异常。

    1. 我使用二进制比较工具比较每个图层的数据,我发现 EVM 执行结果与量化 PC 模拟器结果之间的差异与第60层不同。

    1. 第60层使用 AvgPool(STRIDE =2,kernel=3,padding=0)

    发送的数据包含以下(model_results):

    1)SDK8.0量化模型文件:tidl_io_448_Reg_1.bin,tidl_net_448_Reg.bin

    2)测试原始图像:4x4.bmp,img.y

    3)异常数据:硬件,PC_Emulator

  • 请注意,本文内容源自机器翻译,可能存在语法或其它翻译错误,仅供参考。如需获取准确内容,请参阅链接中的英语原文或自行翻译。

    您好,

    请您分享您正在使用的型号和配置文件,以便我可以在我的结尾重现该问题并进一步调查吗?

    此致,

    安纳

  • 请注意,本文内容源自机器翻译,可能存在语法或其它翻译错误,仅供参考。如需获取准确内容,请参阅链接中的英语原文或自行翻译。

    好的,

    型号 : export_ssd_2stage _448_Reg.onnx

    配置文件:import_ssd_class.txt

    请访问 model.zip

    e2e.ti.com/.../8764.model.zip

  • 请注意,本文内容源自机器翻译,可能存在语法或其它翻译错误,仅供参考。如需获取准确内容,请参阅链接中的英语原文或自行翻译。

    TI:

    您能否帮助修复您的车型上的警告?

    您能否共享 root/model-8.0/model/Front_detect_model/DRA_imgs/dra_image_list_dra_448.txt 文件和输入图像? 它用于量化。

     

    当前 ONNX OpSet 版本  :9.  

    警告:将 Pad 图层与平均池图层合并。 这是可以实现的,但 此流程在功能上没有通过 ONNX 模型格式验证。

    INFO:无法打开 inData 文件:/root/model-8.0/model/Front_detect_model/DRA_imgs/dra_image_list_dra_448.txt ,跳过量化范围集合

    INFO:无法打开 inData 文件:/root/model-8.0/model/Front_detect_model/DRA_imgs/dra_image_list_dra_448.txt ,跳过量化范围集合

     ===》

    答案:

    好的,请访问 change_model_and_imgs.zip

    e2e.ti.com/.../change_5F00_model_5F00_and_5F00_imgs.zip

  • 请注意,本文内容源自机器翻译,可能存在语法或其它翻译错误,仅供参考。如需获取准确内容,请参阅链接中的英语原文或自行翻译。

    您好,

    我能够重现该问题,并正在进一步调查。 将很快回来,并进行进一步更新。

    TI 内部跟踪的 JIRA 参考:

    https://jira.itg.ti.com/browse/TIDL-1877

    此致,

    安纳

  • 请注意,本文内容源自机器翻译,可能存在语法或其它翻译错误,仅供参考。如需获取准确内容,请参阅链接中的英语原文或自行翻译。

    您好, 

    1,您能在何时解决这个问题?您有特定的时间吗?

    2, 您建议修改此模型什么? 修改 avgpool 图层时,模型的精度会下降。

  • 请注意,本文内容源自机器翻译,可能存在语法或其它翻译错误,仅供参考。如需获取准确内容,请参阅链接中的英语原文或自行翻译。

    您好,

    我已经确定了平均池层的问题,该问题将作为计划于3月25日左右发布的 SDK 8.2版本的一部分得到解决。

    此致,

    安纳

  • 请注意,本文内容源自机器翻译,可能存在语法或其它翻译错误,仅供参考。如需获取准确内容,请参阅链接中的英语原文或自行翻译。

    谢谢!

  • 请注意,本文内容源自机器翻译,可能存在语法或其它翻译错误,仅供参考。如需获取准确内容,请参阅链接中的英语原文或自行翻译。

    我可以继续并关闭此线程吗?

  • 请注意,本文内容源自机器翻译,可能存在语法或其它翻译错误,仅供参考。如需获取准确内容,请参阅链接中的英语原文或自行翻译。

    关闭此线程。 如果您有任何其他问题,请随时重新打开。

    此致,

    安纳