工具与软件：
我现在使用的 SDK 版本是 ti-processor-sdk-rtos-j784s4-evm-10_00_00_05
当组不等于1时、SDK 10.0中解谱的仿真推理结果异常。
我们还验证了在量化过程中的第一次浮点推理期间也存在同样的问题。
在 我们使用的 SDK 的上一版本8.6 (08_06_00_14)中、组解谱的推理结果是正确的。
我们提供了重现问题的模型和数据、我们希望能够尽快解决。
附件中有两个模型。 可以使用模型 DEPLOY_GroupConv.onnx 重现该问题。
尊敬的 Guang：
我为您提供了一个解决方案、但需要修改模型。 您的模型有128组、而 TIDL 不喜欢这种配置。 解决方案是将128个组分为1个组。 以下是一个示例模型、其中3个组进入单个解压缩层、分为3个组大小为1的输出、进入3个解压缩层。
我是在10.01上编译的、在10.01 EVM 上运行的、也应该能达到9.2。
在仿真中编译：
python3 ./onnxrt_ep.py -c -m model3Group
["Model3Group"]
可用的执行提供程序:['TIDLExecutionProvider ','TIDLComplationProvider ','CPUExecutionProvider ']
运行1个模型-["model3Group"]
Running_Model : model3Group
在模型/home/root/group_deconv/model3Group.onnx 上运行形状推理
============== [model compilation started]========
模型编译将执行以下阶段：
1.解析
2.图形优化
3.量化与校准
4.记忆规划
============== [版本摘要]==========
-------------------------------------------------------
TIDL 工具版本| 10_01_00_01 |
-------------------------------------------------------
| C7x 固件版本| 10_01_00_01 |
-------------------------------------------------------
|运行时版本| 1.15.0|
-------------------------------------------------------
|模型选项集版本| 11 |
-------------------------------------------------------
注意：此处的运行时版本指定了 ONNXRT_VERSION+TIDL_VERSION
例如：1.14.0+1000XXXX -> ONNXRT 1.14.0和 TIDL_version 10.00.XX.XX
============== [解析已开始]==========
[TIDL 导入][解析器]警告:未识别为物体检测网络的网络:( 1)忽略网络不是物体检测网络(2)如果网络是物体检测网络,请指定"model_type":"OD"作为 OSRT 编译选项的一部分
[TIDL 导入]警告：如果可能、更改为向上采样/重新调整大小、而不是解析。 它将更高效
[TIDL 导入]警告：如果可能、更改为向上采样/重新调整大小、而不是解析。 它将更高效
[TIDL 导入]警告：如果可能、更改为向上采样/重新调整大小、而不是解析。 它将更高效
--------------- 子图信息摘要-------------------------------------------------------
-------------------------------------------------------
|核心|节点数|子图数|
-------------------------------------------------------
| C7x | 9 | 1 |
| CPU | 0 | x |
-------------------------------------------------------
============== [解析已完成]========
============ [optimization for subgraph_0 started]====已启动]====已启动
-------------------------------------------------------- 优化摘要-------------------------------------------------------
-------------------------------------------------------
|层|优化前的节点|优化后的节点|
-------------------------------------------------------
TIDL_Deconv2DLayer | 3 | 3 |
TIDL_ConcatLayer | 1 | 1 |
TIDL_ReLULayer | 1 | 0 |
TIDL_SliceLayer | 3 | 3 |
| TIDL_ConvolutionLayer | 1 | 1 |
-------------------------------------------------------
========== [已完成 subgraph_0的优化]====已完成]====
[TIDL 导入]警告：如果可能、更改为向上采样/重新调整大小、而不是解析。 它将更高效
[TIDL 导入]警告：如果可能、更改为向上采样/重新调整大小、而不是解析。 它将更高效
[TIDL 导入]警告：如果可能、更改为向上采样/重新调整大小、而不是解析。 它将更高效
软限制为10240
硬性限制为10240
内存：初始化...！！！
内存：初始化...完成！！！
0.0s：vx_zone_init：Enabled
0.4s：vx_zone_error：Enabled
0.8s：vx_zone_warning：Enabled
0.2172s：vx_zone_init：[tivxInit：190]初始化已完成！！！
====== [已启动 subgraph 0的量化和校准]========
--- 在浮动模式下运行校准以收集张量统计信息-------
[________________________________________________====] 100 %
------- 定点校准迭代[1/1]：--------------------
[________________________________________________====] 100 %
============ [量化和校准已完成]=========
================ [Memory Planning Started]============
--------------- 网络编译器跟踪-------------------------------------------------------
成功分配内存
成功创建工作负载
============== [已完成内存规划]==========
正在重新运行网络编译器...
================ [Memory Planning Started]============
--------------- 网络编译器跟踪-------------------------------------------------------
成功分配内存
成功创建工作负载
============== [已完成内存规划]==========
[TIDL 导入]警告：如果可能、更改为向上采样/重新调整大小、而不是解析。 它将更高效
[TIDL 导入]警告：如果可能、更改为向上采样/重新调整大小、而不是解析。 它将更高效
[TIDL 导入]警告：如果可能、更改为向上采样/重新调整大小、而不是解析。 它将更高效
============== 已成功编译子图=======
已完成的模型- model3Group.onnx
名称: model3Group ,总时间: 1724.41,卸载时间: 0.24, DDR RW MBs : 0
内存：Deinit ...！！！
内存：分配：48564629字节的26个分配
Mem: free's : 26 free's of 48564629 bytes.
MEM: OPEN'S : 0个0字节的分配
MEM: Deinit ...完成!!
在仿真中运行：
python3 ./onnxrt_ep.py -m model3Group
["Model3Group"]
可用的执行提供程序:['TIDLExecutionProvider ','TIDLComplationProvider ','CPUExecutionProvider ']
运行1个模型-["model3Group"]
Running_Model : model3Group
libtidl_onnxrt_EP 已加载0x5aabfd430f50
最终创建的子图数为：1、-卸载节点- 9、总节点- 9
软限制为10240
硬性限制为10240
内存：初始化...！！！
内存：初始化...完成！！！
0.0s：vx_zone_init：Enabled
0.7s：vx_zone_error：Enabled
0.10s：vx_zone_warning：Enabled
0.2672s：vx_zone_init：[tivxInit：190]初始化已完成！！
已完成的模型- model3Group.onnx
名称: model3Group ,总时间: 0.27,卸载时间: 0.22, DDR RW MBs : 0
内存：Deinit ...！！！
内存：分配：26个分配、共8410201字节
Mem: free's : 26 free's of 8410201 bytes.
MEM: OPEN'S : 0个0字节的分配
MEM: Deinit ...完成!!
器件上运行时出错、但这是 PyTorch 生成的随机权重模型上的 TIDL-ISM。 我认为这与我在 EVM 上进行的设置相关、与大家正在尝试实现的目标密切相关。 该理论仍然有效。 我明天将使用另一个 EVM、并验证这一点。
以下是用于生成上述网络的代码。 此代码不是在循环中来说明该过程、但对于转换为一个的128个组、循环将很有帮助。
