This thread has been locked.

If you have a related question, please click the "Ask a related question" button in the top right corner. The newly created question will be automatically linked to this question.

[参考译文] PROCESSOR-SDK-J721E:使用 run_python_examples.sh、edgeai-tidl-tools 无法基于支持的深度学习模型生成模型工件

Guru**** 2031750 points
Other Parts Discussed in Thread: TDA4VM
请注意,本文内容源自机器翻译,可能存在语法或其它翻译错误,仅供参考。如需获取准确内容,请参阅链接中的英语原文或自行翻译。

https://e2e.ti.com/support/processors-group/processors/f/processors-forum/1212797/processor-sdk-j721e-edgeai-tidl-tools-cannot-generate-model-artifact-based-on-supported-deep-learning-model-using-run_python_examples-sh

器件型号:PROCESSOR-SDK-J721E
主题中讨论的其他器件:TDA4VMTDA4VL、TDA4VH

根据 几个月前的反馈、我再次尝试使用 run_python_examples.sh 为支持的深度学习模型生成模型工件。 但是、我还没有得到预期的结果。

下面是我使用的工具的详细信息:
适用于 TDA4VM 的 Processor SDK RTOS 版本:   08.05.00.11
TIDL 工具版本:   tidl_j721e_08_05_00_16

1.我在脚本 https://github.com/TexasInstruments/edgeai-tidl-tools/blob/master/examples/osrt_python/common_utils.py 中添加了以下内容 、添加了模型源和其他生成参数。  

'OD-TFL-SSD_MobileNet_v1_DEFAULT_1':{
       'model_path':os.path.join (models_base_path、'sd_mobilenet_v1_default_1.tflite')、
       'SOURCE':{'MODEL_URL':'tfhub.dev/.../1'、'OPT':true}、
       'MEAN':[127.5、127.5、127.5]、
       'STD':[1/127.5、1/127.5、1/127.5]、
       'num_images':numImages,
       'num_classes':91、
       'MODEL_TYPE':'OD'、
       'Session_name':'tflitert'、
       "Tensor_bits": 32,
       'OD_TYPE':'HasDetectionPostProcLay'
   }、

注意:该模型 URL 是 从 TIDL Model Zoo 第8项链接(tfhub)中列出的支持模型获得的、其参数与 python 示例中已包含的模型 od-tfL-ssd_mobilenet_v2_300_float 相同。

参考: TI 深度学习产品用户指南:TIDL-RT Model Zoo

2.我还在 https://github.com/TexasInstruments/edgeai-tidl-tools/blob/master/examples/osrt_python/tfl/tflrt_delegate.py#L221中添加了突出显示的变化
模型=['cl-tfL-mobilenet_v1_1.0_224'、's-TFL-deeplabv3_MNv2_ade20k_float'、'OD-TFL-SSD_mobilenet_v2_300_float'、' OD-TFL-SSD_MobileNet_v1_1_DEFAULT_1 ']

预期结果 (类似于 py_out_od-tfl-ssd_mobilenet_v2_300_float_ADE_val_00001801.jpg):



已获得结果 (py_out_od-tfl-ssd_mobilenet_v1_1_default_1_ADE_val_00001801.jpg):)

e2e.ti.com/.../Console-output-Custom-Model-Alone-std-run_5F00_python_5F00_examples.txt

e2e.ti.com/.../od_2D00_tfl_2D00_ssd_5F00_mobilenet_5F00_v1_5F00_1_5F00_default_5F00_1.zip

使用"scale"参数而非"std"参数(.jpg)获得的结果:

e2e.ti.com/.../Console-output-Custom-Model-Alone-scale-run_5F00_python_5F00_examples.txt

e2e.ti.com/.../od_2D00_tfl_2D00_ssd_5F00_mobilenet_5F00_v1_5F00_1_5F00_default_5F00_1.zip

您能否说明这是否适用于最新版本? 有没有获得预期的推理结果的建议?

谢谢!

  • 请注意,本文内容源自机器翻译,可能存在语法或其它翻译错误,仅供参考。如需获取准确内容,请参阅链接中的英语原文或自行翻译。

    尊敬的 Carlos:

    对拖延答复表示歉意。 我目前正尝试与 Fadil 联系-这可能需要几天时间、因为他位于不同的 TI 地点。 在等待他的回复的同时、我可以根据提供的信息尝试在我的终端重新生成问题、并且我可以在3个工作日(下周一)内提供更新。

    需要澄清的一点是:

    • 您帖子最后一行中的"最新版本"是指8.6版还是8.5版?
    • 您当前运行的是使用8.5并使用8.6版应用程序生成的模型吗?

    此致、

    Takuma.

  • 请注意,本文内容源自机器翻译,可能存在语法或其它翻译错误,仅供参考。如需获取准确内容,请参阅链接中的英语原文或自行翻译。

    你好、Takuma、

    我使用8.5版本测试了模型工件生成、因为这是所提到的版本、它将会进行修复。
    我使用了以下设置:
    适用于 TDA4VM 的 Processor SDK RTOS 版本:   08.05.00.11
    TIDL 工具版本:   tidl_j721e_08_05_00_16

    我想知道这应该在8.5版还是最新的8.6版中解决。

    此致、
    卡洛斯

  • 请注意,本文内容源自机器翻译,可能存在语法或其它翻译错误,仅供参考。如需获取准确内容,请参阅链接中的英语原文或自行翻译。

    尊敬的 Carlos:

    对于更多的延迟表示歉意、但我需要多花一天时间来恢复 bug。 不过、我将与大家再分享一些关于这个问题的信息、以便为大家提供调试帮助。

    将 tensor_bit 设置为32的请求主要用于在模型提供 PC 上的准确输出而不是在 EVM 上运行的情况下进行调试、这是我们标准调试流程的一部分: https://github.com/TexasInstruments/edgeai-tidl-tools/blob/master/docs/tidl_osr_debug.md#steps-to-debug-functional-mismatch-in-host-emulation。同一文档中还有一些其他实验和故障排除方法、因此我建议您快速浏览本文档。

    我找到了内部 Jira 工单、我想我的同事 Fadil 在上一个 E2E 主题中提到过该工单。 TT 状态仍为"新"、但似乎有些实验/分析已在内部进行、因此目前正在检查我们是否导致了修复。

    此致、

    Takuma.

  • 请注意,本文内容源自机器翻译,可能存在语法或其它翻译错误,仅供参考。如需获取准确内容,请参阅链接中的英语原文或自行翻译。

    尊敬的 Carlos:

    我与 Fadil 取得联系。 我们目前正在处理这一问题-大约需要一周的时间。

    请最晚等待4月25日的更新、感谢您的耐心等待。

    此致、

    Takuma.

  • 请注意,本文内容源自机器翻译,可能存在语法或其它翻译错误,仅供参考。如需获取准确内容,请参阅链接中的英语原文或自行翻译。

    尊敬的 Carlos:

    您能否确认您最终尝试运行此模型的器件?

    它应该在 TDA4VM 上运行还是您目前正在尝试 TDA4VM?  

    如果是 TDA4VM 、是否可以使用原始浮点模型? 因为在 TDA4VM 中 ,我们不   支持非对称定序,所以必须运行浮点校准,并使用新的校准数据进行推理。   

    对于 TDA4VH 和 TDA4VL、我们确实支持非对称量化、该模型可以直接运行。  

    谢谢  

    Fadil