This thread has been locked.

If you have a related question, please click the "Ask a related question" button in the top right corner. The newly created question will be automatically linked to this question.

[参考译文] TDA4VM:使用 TIDL 在 EVM 上部署 CNN 模型

Guru**** 657500 points
请注意,本文内容源自机器翻译,可能存在语法或其它翻译错误,仅供参考。如需获取准确内容,请参阅链接中的英语原文或自行翻译。

https://e2e.ti.com/support/processors-group/processors/f/processors-forum/1181205/tda4vm-deploy-cnn-model-on-evm-using-tidl

器件型号:TDA4VM

大家好、团队、

由于我不熟悉 TIDL、因此我参考了 TIDL 文档。

根据我的理解、要在 J7 SoC 上部署预先训练的 CNN 模型、

1) 1)将模型文件转换为 onnx/Caffee/tensorflow 格式

2) 2)使用 TIDL 导入工具转换为 TIDL 模型

3) 3)要推断模型、请使用使用使用 OpenVX API 从 TIDL 导入过程生成的.bin 文件来生成.out 文件

4) 4)在 EVM 上执行

如果我错了、请纠正我的问题。

另外、请分享一些示例参考教程链接、从而在步骤(3)上稍作说明。

我们是否可以使用 PyTIOxx 工具执行步骤(3)? 如果是、请与我分享一份参考资料。

谢谢、此致、

Padmasree N.

  • 请注意,本文内容源自机器翻译,可能存在语法或其它翻译错误,仅供参考。如需获取准确内容,请参阅链接中的英语原文或自行翻译。

    您好、Padmasree、

       TIDL 软件有两种高级使用方法(开源运行时( OSRT) 和 TIDM-RT),这两种方法都在此处进行了说明:  

    https://software-dl.ti.com/jacinto7/esd/processor-sdk-rtos-jacinto7/08_04_00_02/exports/docs/tidl_j721e_08_04_00_12/ti_dl/docs/user_guide_html/index.html

      如果文档中没有任何具体内容、请告知我们。

    [引用 userid="458417" URL"~/support/processors-group/processors/f/processors-forum/1181205/tda4vm-deploy-cnn-model-on-evm-using-tidl 我们是否可以使用 PyTIOVX 工具来执行步骤(3)? 如果是、请与我分享一个参考。

    此致、

    安州

      

  • 请注意,本文内容源自机器翻译,可能存在语法或其它翻译错误,仅供参考。如需获取准确内容,请参阅链接中的英语原文或自行翻译。

    您好、Anshu、

    感谢您的回复!

    根据文档、我不希望将 TIDM-RT 用于我的用例。

    那么,请告诉我如何合并从步骤(3)生成的.bin/.io 文件?

    请分享一些相同的示例参考教程链接。

    此致、

    Padmasree N.

  • 请注意,本文内容源自机器翻译,可能存在语法或其它翻译错误,仅供参考。如需获取准确内容,请参阅链接中的英语原文或自行翻译。

    您好、Padmasree、

       有关 TIDM-RT 的使用,请参阅以下文档:  

    https://software-dl.ti.com/jacinto7/esd/processor-sdk-rtos-jacinto7/08_04_00_02/exports/docs/tidl_j721e_08_04_00_12/ti_dl/docs/user_guide_html/md_tidl_user_model_deployment.html#tidl_gs_executePC


    此致、

    安州

  • 请注意,本文内容源自机器翻译,可能存在语法或其它翻译错误,仅供参考。如需获取准确内容,请参阅链接中的英语原文或自行翻译。

    您好、Anshu、

    感谢您的回复!

    在我阅读文档时、我找不到有关如何将 TIDL 与 OpenVX API 集成的示例教程参考。

    请求您共享相同内容

    此致、

    Padmasree N.

  • 请注意,本文内容源自机器翻译,可能存在语法或其它翻译错误,仅供参考。如需获取准确内容,请参阅链接中的英语原文或自行翻译。

    您好、Anshu、

    https://software-dl.ti.com/jacinto7/esd/processor-sdk-rtos-jacinto7/08_04_00_02/exports/docs/tidl_j721e_08_04_00_12/ti_dl/docs/user_guide_html/md_tidl_user_model_deployment.html

    上面的链接描述了 EVM 上模型的多层处理。

    https://software-dl.ti.com/jacinto7/esd/processor-sdk-rtos-jacinto7/06_02_00_21/exports/docs/tiovx/docs/user_guide/vx__tutorial__tidl_8c.html

    本教程介绍了如何在 OpenVX 节点上执行模型。

    我有以下问题

    1) 1)上述过程是否彼此不同? 请告诉我在 TDA4X 板上部署 DNN 的正确方法。

    2) 2) OSRT 能否仅与 EdgeAI 工具配合使用、或可与 OpenVX 节点搭配使用?

    3)考虑具有30 个运算符的模型(支持20个运算符;TIDL -RT 不支持10个运算符)。 在这种情况下,OSRT 仅用于不受支持的运算符还是用于整个模型本身?

    请与我分享解决方案。

    此致、

    Padmasree N.

  • 请注意,本文内容源自机器翻译,可能存在语法或其它翻译错误,仅供参考。如需获取准确内容,请参阅链接中的英语原文或自行翻译。

    大家好、团队、

    是否有以上查询的更新?

    希望很快得到响应

    谢谢、此致、

    Padmasree N.

  • 请注意,本文内容源自机器翻译,可能存在语法或其它翻译错误,仅供参考。如需获取准确内容,请参阅链接中的英语原文或自行翻译。

    您好 ,Padmasree ,

    [引用 userid="458417" URL"~/support/processors-group/processors/f/processors-forum/1181205/tda4vm-deploy-cnn-model-on-evm-using-tidl/4452958 #4452958]1)上述过程是否彼此不同? 请告诉我在 TDA4X 板上部署 DNN 的正确方法。[/引述]

     您可以使用 OSRT 或 TIDM-RT 在 TI SOC 上部署模型。 为了便于使用、建议使用 OSRT、因为您可以在 TI 的 SOC 上执行具有不受支持层的模型

    [引用 userid="458417" URL"~/support/processors-group/processors/f/processors-forum/1181205/tda4vm-deploy-cnn-model-on-evm-using-tidl/4452958 #4452958"]2) OSRT 是否仅可与 EdgeAI 工具搭配使用或可与 OpenVX 节点搭配使用?

     下方的 OSRT 使用 TIDM-RT、而 TIDM-RT 则使用 OpenVX 节点。 对于 OSRT、您将需要使用 edgeAI 工具

    [引用 userid="458417" URL"~/support/processors-group/processors/f/processors-forum/1181205/tda4vm-deploy-cnn-model-on-evm-using-tidl/4452958 #4452958"]3)考虑使用具有30 个运算符的模型(支持20个运算符;TIDL -RT 支持10个运算符)。 在这种情况下,OSRT 仅用于不受支持的运算符还是整个模型本身?

     从用户的角度来看、我们将使用所有30个层运行模型、这样 TIDL 在 c7x 上支持的任何层都将被委派给 c7x、而不支持的层将使用各种开源运行时推理提供的优化实现在 ARM 上运行 引擎。


    此致、

    安州