[参考译文] PROCESSOR-SDK-J722S：与原始模型(输入悬空)相比、使用 onnxrt_ep.py 转换为 TIDL 格式后、原始模型(输入 U8)需要更长的处理时间来运行推理。

admin

请注意，本文内容源自机器翻译，可能存在语法或其它翻译错误，仅供参考。如需获取准确内容，请参阅链接中的英语原文或自行翻译。

https://e2e.ti.com/support/processors-group/processors/f/processors-forum/1487275/processor-sdk-j722s-the-original-model-input-u8-takes-longer-process-time-to-run-inference-after-being-converted-to-tidl-format-using-onnxrt_ep-py-compared-to-the-original-model-input-float

器件型号：PROCESSOR-SDK-J722S

工具与软件：

嗨、团队：

TIDL 版本10.00.08.00
我使用 onnxrt_ep.py 转换自己的模型(输入 u8)和模型(输入 float)

但我发现模型(输入 u8)运行推理时间= 35.53ms、模型(输入浮点)运行推理时间= 38.33ms、

基于 https://e2e.ti.com/support/processors-group/processors/f/processors-forum/1478914/processor-sdk-j722s-the-question-about-running-inference-with-the-default-model-mobilenetv1

我的理解是、与具有输入的原始模型(float)相比、具有输入的原始模型(U8)在转换为 TIDL 格式后应更快地进行推理。

我想问一下我的理解是否不正确。

感谢您的帮助。

此致、
Ken

7 个月前

0 admin 7 个月前

TI__Guru**** 2398695 points

请注意，本文内容源自机器翻译，可能存在语法或其它翻译错误，仅供参考。如需获取准确内容，请参阅链接中的英语原文或自行翻译。

尊敬的 Ken：

您是不是打算将 int 的推理时间设为35.53ms、将浮点的推理时间设为38.33ms？如果是这种情况、我看不到您所讨论的问题。

此致、

Christina

0 admin 7 个月前

TI__Guru**** 2398695 points

请注意，本文内容源自机器翻译，可能存在语法或其它翻译错误，仅供参考。如需获取准确内容，请参阅链接中的英语原文或自行翻译。

您好 Christina Kuruvilla：

参考中的模型

https://e2e.ti.com/support/processors-group/processors/f/processors-forum/1478909/processor-sdk-j722s-is-onnx_ep-py-support-for-avgpool-with-stride-2x2/5705142#5705142

抱歉、我的描述中出错了。

推理时间 "alexnet0407_u8.onnx" 是什么 37.57ms 、
以及推理时间 "alexnet0407.onnx" 是什么 35.73ms .

所使用的理论上 U8输入 应该比使用的更快 悬空输入 、对吧？

您能否分享您的测试结果和的版本 映像/TIDL 何种应用？

感谢您的帮助。

此致、

Ken

0 admin 7 个月前

TI__Guru**** 2398695 points

请注意，本文内容源自机器翻译，可能存在语法或其它翻译错误，仅供参考。如需获取准确内容，请参阅链接中的英语原文或自行翻译。

尊敬的 Ken：

我没有看到您在最后运行您的模型时所记录的相同推理我在 OSRT 上使用了 TIDLtools v.10_01_04_00。

我在下面附上了我的日志供您查看。 alexnet0307参考 alexnet0407.onnx 而 alexnetu8是指 alexnet0407_u8.onnx。

root@dca817a21102:/home/root/examples/osrt_python/ort# python3 ./onnxrt_ep.py   
Available execution providers :  ['TIDLExecutionProvider', 'TIDLCompilationProvider', 'CPUExecutionProvider']

Running 3 Models - ['alexnetkernel', 'alexnet0307', 'alexnetu8']


Running_Model :  alexnetkernel


Running_Model :  alexnet0307


Running_Model :  alexnetu8

libtidl_onnxrt_EP loaded 0x61dbf40f58d0 
Final number of subgraphs created are : 2, - Offloaded Nodes - 20, Total Nodes - 21 
libtidl_onnxrt_EP loaded 0x61dbf40f5ab0 
The soft limit is 10240
The hard limit is 10240
MEM: Init ... !!!
MEM: Init ... Done !!!
 0.0s:  VX_ZONE_INIT:Enabled
 0.12s:  VX_ZONE_ERROR:Enabled
 0.15s:  VX_ZONE_WARNING:Enabled
 0.2092s:  VX_ZONE_INIT:[tivxInit:190] Initialization Done !!!
Final number of subgraphs created are : 1, - Offloaded Nodes - 21, Total Nodes - 21 
libtidl_onnxrt_EP loaded 0x61dbf40f85f0 
The soft limit is 10240
The hard limit is 10240
MEM: Init ... !!!
MEM: Init ... Done !!!
 0.0s:  VX_ZONE_INIT:Enabled
 0.14s:  VX_ZONE_ERROR:Enabled
 0.17s:  VX_ZONE_WARNING:Enabled
 0.2059s:  VX_ZONE_INIT:[tivxInit:190] Initialization Done !!!
Final number of subgraphs created are : 1, - Offloaded Nodes - 23, Total Nodes - 23 
The soft limit is 10240
The hard limit is 10240
MEM: Init ... !!!
MEM: Init ... Done !!!
 0.0s:  VX_ZONE_INIT:Enabled
 0.14s:  VX_ZONE_ERROR:Enabled
 0.16s:  VX_ZONE_WARNING:Enabled
 0.2066s:  VX_ZONE_INIT:[tivxInit:190] Initialization Done !!!

 ,  0  7.743576  tench, Tinca tinca ,,  1  5.698103  goldfish, Carassius auratus ,,  2  1.753262  candle, taper, wax light ,,  3  1.607157  minibus ,,  4  1.314947  bulbul ,

Saving image to  ../../../output_images/

Saving output tensor to  ../../../output_binaries/


Completed_Model :     1, Name : alexnetkernel                                     , Total time :     847.13, Offload Time :     846.85 , DDR RW MBs : 0, Output Image File : py_out_alexnetkernel_airshow.jpg, Output Bin File : py_out_alexnetkernel_airshow.bin


MEM: Deinit ... !!!
MEM: Alloc's: 52 alloc's of 192559782 bytes
MEM: Free's : 52 free's  of 192559782 bytes
MEM: Open's : 0 allocs  of 0 bytes
MEM: Deinit ... Done !!!

 ,  0  5.969082  tench, Tinca tinca ,,  1  5.872807  goldfish, Carassius auratus ,,  2  1.540408  American chameleon, anole, Anolis carolinensis ,,  3  1.444133  wing ,,  4  1.347857  Maltese dog, Maltese terrier, Maltese ,

Saving image to  ../../../output_images/

Saving output tensor to  ../../../output_binaries/


Completed_Model :     2, Name : alexnet0307                                       , Total time :     845.87, Offload Time :     845.82 , DDR RW MBs : 0, Output Image File : py_out_alexnet0307_airshow.jpg, Output Bin File : py_out_alexnet0307_airshow.bin


MEM: Deinit ... !!!
MEM: Alloc's: 26 alloc's of 231808485 bytes
MEM: Free's : 26 free's  of 231808485 bytes
MEM: Open's : 0 allocs  of 0 bytes
MEM: Deinit ... Done !!!

 ,  0  0.107690  tench, Tinca tinca ,,  1  0.107690  goldfish, Carassius auratus ,,  2  0.025078  sunscreen, sunblock, sun blocker ,,  3  0.022128  ballplayer, baseball player ,,  4  0.022128  Leonberg ,  

Saving image to  ../../../output_images/

Saving output tensor to  ../../../output_binaries/


Completed_Model :     3, Name : alexnetu8                                         , Total time :     831.09, Offload Time :     831.04 , DDR RW MBs : 0, Output Image File : py_out_alexnetu8_airshow.jpg, Output Bin File : py_out_alexnetu8_airshow.bin


MEM: Deinit ... !!!
MEM: Alloc's: 26 alloc's of 229949925 bytes
MEM: Free's : 26 free's  of 229949925 bytes
MEM: Open's : 0 allocs  of 0 bytes
MEM: Deinit ... Done !!!

您使用的是哪个版本的 TIDLtools？您是否还可以共享您的日志？

此致、

Christina

处理器（参考译文帖）

处理器（参考译文帖）(Read Only)

[参考译文] PROCESSOR-SDK-J722S：与原始模型(输入悬空)相比、使用 onnxrt_ep.py 转换为 TIDL 格式后、原始模型(输入 U8)需要更长的处理时间来运行推理。