• 状态
  • 已锁定 已锁定
  • 回复 6 回复
  • 订户 0 订户
  • 视图 73 视图
  • 用户 0 会员在此处
选项
选项
相关

This thread has been locked.

If you have a related question, please click the "Ask a related question" button in the top right corner. The newly created question will be automatically linked to this question.

[参考译文] TDA4AP-Q1：在模型推理期间对 edgeai-tidl-tools 中的存储器统计信息进行分析

admin
Guru**** 2362840 points
请注意，本文内容源自机器翻译，可能存在语法或其它翻译错误，仅供参考。如需获取准确内容，请参阅链接中的英语原文或自行翻译。

https://e2e.ti.com/support/processors-group/processors/f/processors-forum/1497603/tda4ap-q1-profiling-memory-stats-in-edgeai-tidl-tools-during-model-inference

器件型号：TDA4AP-Q1

工具/软件：

你(们)好

我将使用 SD 引导模式(在 HLOS 之上)在 j784s4_EVM (TDA4AP)上运行自定义模型推理。 以上是并行运行模型推理和 perf_stats 工具应用以获得 DDR 性能时记录的摘要。 我可以 在 edgeai-tidl-tools 文件夹中看到 device_config.cfg 文件、其中提到了在 TIDL 运行期间对 L2SRAM、MSMC、DDR RAM 空间的利用  

我在这里有几个问题  

是否有办法查看给定模型的 L2、MSMC 和 DDR 的存储器利用率、具体来说、每层消耗的存储器容量是多少？ 我们可以在期间获取详细的日志吗 模型编译、 除了模型工件之外、还会在不同存储器级别中显示每层的存储器使用情况？  

2.我们可以在期间获取内存使用日志吗 模型推理 还是在 TI SOC 上运行？

3.还在上面附加的屏幕截图中,你能详细阐述/解释 DDR 性能静态

谢谢、

Madhu

  • 0
    TI__Guru**** 2362840 points
    请注意，本文内容源自机器翻译，可能存在语法或其它翻译错误，仅供参考。如需获取准确内容，请参阅链接中的英语原文或自行翻译。

    尊敬的 Madhu：

    我将 介绍相应的选项。   

    此致、

    Chris

  • 0
    TI__Guru**** 2362840 points
    请注意，本文内容源自机器翻译，可能存在语法或其它翻译错误，仅供参考。如需获取准确内容，请参阅链接中的英语原文或自行翻译。

    尊敬的 Madhu：

    如果您可以向我发送您的模型、我可以为您运行一个配置文件并发送结果。

    此致、
    Chris

  • 0
    TI__Guru**** 2362840 points
    请注意，本文内容源自机器翻译，可能存在语法或其它翻译错误，仅供参考。如需获取准确内容，请参阅链接中的英语原文或自行翻译。

    您好、Chris

    这里是我现在使用的自定义模型,我已经为您分享了该模型 https://drive.google.com/file/d/1zvn8BI8h23JvTiRqfyYXeY3joOXC5GgA/view?usp=drive_link 的驱动器链接

    另外、请告诉我您正在执行的性能分析所需的步骤

    谢谢、

    Madhu

  • 0
    TI__Guru**** 2362840 points
    请注意，本文内容源自机器翻译，可能存在语法或其它翻译错误，仅供参考。如需获取准确内容，请参阅链接中的英语原文或自行翻译。

    尊敬的  Madhu：

    您发送给我的模型不会导入。  您能否发送一个可导入的模型版本？  最好采用 ONNX 格式。  性能分析需要一些时间、因此请先向我发送一个您知道正在运行的模型、然后再对其进行性能分析。   基本上、确保 首先使用 TIDL (osrt_python)导入它。   

    ['FCW_Yolo']
    可用的执行提供程序：['TIDLExecutionProvider '、'TIDLCompilationProvider '、'CPUExecutionProvider ']

    运行1个模型-['[CW_Yolo']


    Running_Model：mcw_yolo


    在模型/home/root/yolov8.tflite 上运行形状推理

    处理过程1：
    回溯(最近一次呼叫)：
    在_sbootstrap 中输入/usr/lib/python3.10/multiprocessing/process.py 第314行
    self.run()
    文件"/usr/lib/python3.10/multiprocessing/process.py、第108行、运行中
    self._target (* self._args、** self._kwargs)
    文件"run_model 中的/home/root/examples/osrt_python/advanced_examples/unit_tests_validation/ort/./onnxrt_ep.py 第218行
    SESS = RT.ConferenceSession (config[model_path']、provider=ep_list、provider_options=[delege_options、{}]、sess_options=so)
    文件"387"/usr/local/lib/python3.10/dist-packages/onnxruntime/capi/onnxruntime_inference_collection.py、第387行、位于__init__
    self._create_immussion_session (提供程序、提供程序选项、禁用优化器)
    /usr/local/lib/python3.10/dist-packages/onnxruntime/capi/onnxruntime_inference_collection.py、第428行、位于_create_推理 会话中
    SESS = C.ConferenceSession (session_options、self._model_path、True、self._read_config_from_model)
    onnxruntime.capi.onnxruntime_pybind11_state.Fail:[ONNXRuntimeError]：1：失败：从/home/root/yolov8.tflite 加载模型失败：/root/onnxruntime/onnxruntime/core/graph/model.cc：138 onnxruntime：：Model：：Model(onnx:ModelProto&、const PathString&、const IOnnxRuntimeOpSchemastryList*、const onnxruntime：：：logging:Logger&、const Modelonnxruntime：在模型中缺少：opset 选项)。 所有 ModelProtocs 必须至少有一个条目指定要导入 ONNX OperatorSet 的版本。

    ^CTraceBack (最近一次呼叫)：
    文件"287"/home/root/examples/osrt_python/advanced_examples/unit_tests_validation/ort/./onnxrt_ep.py、在中
    nthreads = join_one (nthreads)
    文件/home/root/examples/osrt_python/advanced_examples/unit_tests_validation/ort/./onnxrt_ep.py、第269行、位于 JOIN_ONE 中
    sem.acquire ()
    KeyboardInterrupt

    此致、

    Chris

  • 0
    TI__Guru**** 2362840 points
    请注意，本文内容源自机器翻译，可能存在语法或其它翻译错误，仅供参考。如需获取准确内容，请参阅链接中的英语原文或自行翻译。

    您好、Chris

    感谢您的回答、很抱歉耽误您的时间

    在这里,我给你的模型(model.tflite)在谷歌驱动器 导入 TIDL (osrt_python ). 您还可以向我提供我可以从我这边执行性能分析以获取内存利用率详细信息的步骤、如上所述、  

    我在这里有几个问题  

    是否有办法查看给定模型的 L2、MSMC 和 DDR 的存储器利用率、具体来说、每层消耗的存储器容量是多少？ 我们可以在期间获取详细的日志吗  模型编译、  除了模型工件之外、还会在不同存储器级别中显示每层的存储器使用情况？  

    2.我们可以在期间获取内存使用日志吗  模型推理  还是在 TI SOC 上运行？

    3.还在上面附加的屏幕截图中,你能详细阐述/解释 DDR 性能静态的更多信息吗?  

    https://drive.google.com/file/d/1Q-v8zpahuzwQKWT2e28TVSFNgAnXbgow/view?usp=drive_link 

    谢谢、

    Madhu

  • 0
    TI__Guru**** 2362840 points
    请注意，本文内容源自机器翻译，可能存在语法或其它翻译错误，仅供参考。如需获取准确内容，请参阅链接中的英语原文或自行翻译。

    尊敬的 Madhu：

    我下载了你的新模型,并将尝试它。

    是否有办法查看给定模型的 L2、MSMC 和 DDR 的存储器利用率、具体来说、每层消耗的存储器容量是多少？ 我们可以在期间获取详细的日志吗  模型编译、  除了模型工件之外、还会在不同存储器级别中显示每层的存储器使用情况？  

    是的、但此时我必须为您运行它并向您发送结果。  如果您想自行运行、则需要 NDA。

    2.我们可以在期间获取内存使用日志吗  模型推理  还是在 TI SOC 上运行？

    假设导入模型、您将在 CSV 文件中获得所有内容。

    3.还在上面附加的屏幕截图中,你能详细阐述/解释 DDR 性能静态的更多信息吗?  

    其实,我不能从屏幕截图告诉你太多。  

    此致、

    Chris