• 状态 Resolved
  • 已锁定 已锁定
  • 回复 4 回复
  • 订户 0 订户
  • 视图 30 视图
  • 用户 0 会员在此处
选项
选项
相关

This thread has been locked.

If you have a related question, please click the "Ask a related question" button in the top right corner. The newly created question will be automatically linked to this question.

[参考译文] TDA4VM：如何使用 TFLite 和 EdgeAI SDK 测量 TDA4VM 定制模型的 TOPS 利用率

admin
Guru**** 2325440 points
Other Parts Discussed in Thread: TDA4VM
请注意，本文内容源自机器翻译，可能存在语法或其它翻译错误，仅供参考。如需获取准确内容，请参阅链接中的英语原文或自行翻译。

https://e2e.ti.com/support/processors-group/processors/f/processors-forum/1519949/tda4vm-how-to-measure-tops-utilization-on-tda4vm-for-custom-models-using-tflite-and-edgeai-sdk

器件型号：TDA4VM

工具/软件：

尊敬的 TI 团队：

我们正在使用 TDA4VM 平台以及通过运行的定制深度学习模型 TFLite 运行时 通信 TIDL 代表 、作为的一部分 EdgeAI SDK (见 https://github.com/TexasInstruments/edgeai-tidl-tools)。

我们的目标是 测量有效 TOPS (每秒万亿次运算) 用于每个模型或每个推理执行、以了解硬件利用率并优化我们的部署。

我们已经使用该edgeai-tidl-tools流程集成了模型、并可以通过 TFLite 在 Python 和 C++中运行推理。

请您就以下问题向我们提供指导：

  1. 什么是 估算或测量 TOPS 的推荐方法 SDK 或 TIDL 工具、您会怎么做？

  2. 可以访问 实时 TIDL 加速器利用率 或分析数据(例如、通过日志或系统 API)？

此致

为他注册

  • 0
    TI__Guru**** 2325440 points
    请注意，本文内容源自机器翻译，可能存在语法或其它翻译错误，仅供参考。如需获取准确内容，请参阅链接中的英语原文或自行翻译。

    尊敬的 Ashay：

    获取此信息的最快方法是打开调试级别。  这些指令适用于 osrt_python/onnx、但 与 osrt_python/tfl 类似 。  从 edgeai-tidl-tools、cd 到 examples/osrt_python/ort/。  然后编辑 vi ../ common_utils.py 并更改以下行：

    发件人：

    DEBUG_LEVEL = 0

    收件人：

    DEBUG_LEVEL = 4

    然后在 ort/目录中运行：

    python3 ./onnxrt_ep.py -c -m cl-ort-resnet18-v1.

    这是一个测试模型、但您将在输出和  edgeai-tidl-tools/model-artifacts/cl-ort-resnet18-v1/artifacts/tempDir/subgraph_0_tidl_net.bin_paramDebug.csv 中找到信息。   

    在 ort/目录的旁边、将模型添加到 ．．／model_configs.py 并运行模型。   将为您的模型获得相同的输出。

    此致、

    CHRI

  • 0
    TI__Guru**** 2325440 points
    请注意，本文内容源自机器翻译，可能存在语法或其它翻译错误，仅供参考。如需获取准确内容，请参阅链接中的英语原文或自行翻译。

    尊敬的 CHRI：

    谢谢你的忏悔。 我按照指示在"cl-ort-resnet18-v1"上运行它。 我获得的文件与您提到的文件命名不一样。 这可能是因为我使用的是另一个版本/标签 edge-ai-tidl。  

    但是、我阅读了突出显示的文件、但这不提供所需的信息。 但我注意到、 191_tidl_net.bin_netLog.txt  包含按层 MAC 和总 GMAC。 我认为这对我有帮助、但我想确保我的理解是正确的。 您能否确认这是否是我应该使用的文件？  

    或者、如果这不正确、能否提供一个示例、说明您提到的文件如何输出？

    谢谢！

    好极了

    为他注册  

  • 0
    TI__Guru**** 2325440 points
    请注意，本文内容源自机器翻译，可能存在语法或其它翻译错误，仅供参考。如需获取准确内容，请参阅链接中的英语原文或自行翻译。

    尊敬的 Ashay：

    是的、文件名会因版本而异、型号名称和其他配置参数也会不同。  此外,是的,你可以使用该文件;它将提供一个很好的想法,在哪里的周期被消耗。  

    此致、

    Chris

  • 0
    TI__Guru**** 2325440 points
    请注意，本文内容源自机器翻译，可能存在语法或其它翻译错误，仅供参考。如需获取准确内容，请参阅链接中的英语原文或自行翻译。

    您好、Chris、感谢您的答复。
    是否还有其他因素 可以反映计算性能、例如加速器上使用了多少内存、等等？ 非常感谢您的意见 Slight smile

    好极了

    为他注册