[参考译文] TDA4AP-Q1：在模型推理期间对 edgeai-tidl-tools 中的存储器统计信息进行分析

尊敬的 Madhu：

我将 介绍相应的选项。   

此致、

Chris

尊敬的 Madhu：

如果您可以向我发送您的模型、我可以为您运行一个配置文件并发送结果。

此致、
Chris

您好、Chris

这里是我现在使用的自定义模型,我已经为您分享了该模型 https://drive.google.com/file/d/1zvn8BI8h23JvTiRqfyYXeY3joOXC5GgA/view?usp=drive_link 的驱动器链接

另外、请告诉我您正在执行的性能分析所需的步骤

谢谢、

Madhu

尊敬的  Madhu：

您发送给我的模型不会导入。  您能否发送一个可导入的模型版本？  最好采用 ONNX 格式。  性能分析需要一些时间、因此请先向我发送一个您知道正在运行的模型、然后再对其进行性能分析。   基本上、确保 首先使用 TIDL (osrt_python)导入它。   

['FCW_Yolo']
可用的执行提供程序：['TIDLExecutionProvider '、'TIDLCompilationProvider '、'CPUExecutionProvider ']

运行1个模型-['[CW_Yolo']

Running_Model：mcw_yolo

在模型/home/root/yolov8.tflite 上运行形状推理

处理过程1：
回溯(最近一次呼叫)：
在_sbootstrap 中输入/usr/lib/python3.10/multiprocessing/process.py 第314行
self.run()
文件"/usr/lib/python3.10/multiprocessing/process.py、第108行、运行中
self._target (* self._args、** self._kwargs)
文件"run_model 中的/home/root/examples/osrt_python/advanced_examples/unit_tests_validation/ort/./onnxrt_ep.py 第218行
SESS = RT.ConferenceSession (config[model_path']、provider=ep_list、provider_options=[delege_options、{}]、sess_options=so)
文件"387"/usr/local/lib/python3.10/dist-packages/onnxruntime/capi/onnxruntime_inference_collection.py、第387行、位于__init__
self._create_immussion_session (提供程序、提供程序选项、禁用优化器)
/usr/local/lib/python3.10/dist-packages/onnxruntime/capi/onnxruntime_inference_collection.py、第428行、位于_create_推理 会话中
SESS = C.ConferenceSession (session_options、self._model_path、True、self._read_config_from_model)
onnxruntime.capi.onnxruntime_pybind11_state.Fail:[ONNXRuntimeError]：1：失败：从/home/root/yolov8.tflite 加载模型失败：/root/onnxruntime/onnxruntime/core/graph/model.cc：138 onnxruntime：：Model：：Model(onnx:ModelProto&、const PathString&、const IOnnxRuntimeOpSchemastryList*、const onnxruntime：：：logging:Logger&、const Modelonnxruntime：在模型中缺少：opset 选项)。 所有 ModelProtocs 必须至少有一个条目指定要导入 ONNX OperatorSet 的版本。

^CTraceBack (最近一次呼叫)：
文件"287"/home/root/examples/osrt_python/advanced_examples/unit_tests_validation/ort/./onnxrt_ep.py、在中
nthreads = join_one (nthreads)
文件/home/root/examples/osrt_python/advanced_examples/unit_tests_validation/ort/./onnxrt_ep.py、第269行、位于 JOIN_ONE 中
sem.acquire ()
KeyboardInterrupt

此致、

Chris

您好、Chris

感谢您的回答、很抱歉耽误您的时间

在这里,我给你的模型(model.tflite)在谷歌驱动器 导入 TIDL (osrt_python ). 您还可以向我提供我可以从我这边执行性能分析以获取内存利用率详细信息的步骤、如上所述、  

我在这里有几个问题  

是否有办法查看给定模型的 L2、MSMC 和 DDR 的存储器利用率、具体来说、每层消耗的存储器容量是多少？ 我们可以在期间获取详细的日志吗  模型编译、  除了模型工件之外、还会在不同存储器级别中显示每层的存储器使用情况？  

2.我们可以在期间获取内存使用日志吗  模型推理  还是在 TI SOC 上运行？

3.还在上面附加的屏幕截图中,你能详细阐述/解释 DDR 性能静态的更多信息吗?  

https://drive.google.com/file/d/1Q-v8zpahuzwQKWT2e28TVSFNgAnXbgow/view?usp=drive_link 

谢谢、

Madhu