This thread has been locked.

If you have a related question, please click the "Ask a related question" button in the top right corner. The newly created question will be automatically linked to this question.

[参考译文] TDA4VH-Q1:使用多个批次和内核时、运行 TIDL 图形失败

Guru**** 1640390 points
请注意,本文内容源自机器翻译,可能存在语法或其它翻译错误,仅供参考。如需获取准确内容,请参阅链接中的英语原文或自行翻译。

https://e2e.ti.com/support/processors-group/processors/f/processors-forum/1343476/tda4vh-q1-running-tidl-graph-failed-when-using-multiple-batches-and-cores

器件型号:TDA4VH-Q1
主题中讨论的其他器件:TDA4VH

您好!

我在   OSRT 的示例中编译了模型 cl-ort-resnet18-v1和 cl-ort-resnet18-v1_4batch。

我注意到这两种模型的不同之处在于  cl-ort-resnet18-v1_4batch 使用  inference_mode=1和 num_cores=4 

模型成功编译、但 cl-ort-resnet18-v1_4batch 无法在 TDA4上运行。 (CL-ort-resnet18-v1工作正常)

错误消息如下所示:

欢迎提出任何建议。

谢谢!

  • 请注意,本文内容源自机器翻译,可能存在语法或其它翻译错误,仅供参考。如需获取准确内容,请参阅链接中的英语原文或自行翻译。

    您好!

    您能帮助我们了解一些细节吗?

    1.您在 GitHub 上签出了哪个 SDK 版本分支?

    2.您在电路板上烧录了哪个 SDK?  

    3.能否确定使用的是 TDA4VH、因为它仅支持多核批处理推理。

    4、请设置 DEBUG_LEVEL = 2并共享远程内核日志。

    4.1在运行推理之前运行 vision_apps_init.sh  

    4.2运行推理确保您已通过编译选项设置上述调试标志

  • 请注意,本文内容源自机器翻译,可能存在语法或其它翻译错误,仅供参考。如需获取准确内容,请参阅链接中的英语原文或自行翻译。

    您好、感谢您的回复

    1. 09_00_00_06

     https://www.ti.com/tool/download/PROCESSOR-SDK-RTOS J784S4/09.00.02

    3.是

    4.日志如下:

    e2e.ti.com/.../6683.output.txt

  • 请注意,本文内容源自机器翻译,可能存在语法或其它翻译错误,仅供参考。如需获取准确内容,请参阅链接中的英语原文或自行翻译。

    古安、您好!

    感谢确认模型编译标志设置和工具版本。

    为了消除 SDK 版本的模糊性、您是否能够 使用最新工具9.1.6.0编译并仅运行 cl-ort-resnet18-v1_4batch 模型、我们已经针对9.0添加了一些错误修复。

    https://github.com/TexasInstruments/edgeai-tidl-tools/tree/09_01_06_00

    如果问题仍然存在、让我们更深入地找出根本原因。

    期待远程内核日志。

  • 请注意,本文内容源自机器翻译,可能存在语法或其它翻译错误,仅供参考。如需获取准确内容,请参阅链接中的英语原文或自行翻译。

    您好、感谢您的回复

    我已尝试使用 最新工具9.1.6.0编译模型、但会出现错误。

    下面是日志:

    可用的执行提供程序:['TIDLExecutionProvider '、'TIDLCompilationProvider '、'CPUExecutionProvider ']
    ['../../../test_data/all_qnn_pad/000000.png '、'../../../test_data/all_qnn_pad/000001.png '、'../../../test_data/all_qnn_pad/000002.png ']

    运行1个模型-[multitask-v3_3_2_core0']


    Running_Model:multitask-v3_2_core0

    libtidl_onnxrt_EP 已加载0x36fc2470
    最终创建的子图数为:1、-卸载节点- 198、总节点- 198
    应用程序:初始化...!!!
    内存:初始化...!!!
    MEM:已初始化 DMA 堆(fD=5)!!!
    内存:初始化...完成!!
    IPC:初始化...!!!
    IPC:初始化...完成!!!
    remote_service: init ...!!!
    remote_service: init……done!!!
    5471.486716s:GTC 频率= 200 MHz
    应用程序:初始化...完成!!
    5471.486777 s:vx_zone_init:已启用
    5471.486786 s:vx_zone_error:Enabled (5471.486786 s:已启用)
    5471.486794 s:vx_zone_warning:已启用
    5471.487529 s:vx_zone_init:[tivxInitLocal:130]初始化已完成!!!
    5471.487914 s:vx_zone_init:[tivxHostInitLocal:96]主机初始化已完成!!
    TIDL_RT_OVX:错误:配置文件大小(151576字节)与 sTIDL_IOBufDESC_t 的大小不匹配(149016字节)
    5471.488650 s:vx_zone_error:[tivxAddKernelTIDL:269] num_input_tensors 或 num_output_tensors 的无效值
    5471.518367 s:vx_zone_error:[vxQueryKernel:137]内核引用无效
    5471.518403 s:vx_zone_error:[vxMapUserDataObject:456]用户数据对象引用无效

    是否是由于  在电路板上使用09.00.00.02 SDK 运行最新编译的模型导致的?

    BTW、我还注意到参数 core_number 未显示在  OSRT 文档中、版本为09.00.00.06。 是否可以在 09.00.00.06版本中指定内核编号?  

  • 请注意,本文内容源自机器翻译,可能存在语法或其它翻译错误,仅供参考。如需获取准确内容,请参阅链接中的英语原文或自行翻译。

    您好、 Pratik

    Guan 是我的客户、

    因为我不是 TIDL 专家、所以我无法帮助您回答这些问题。

    线程已经延迟了几天。

    如果可以的话、请尽快给我们一些建议。

    再次感谢。

    吉布斯

  • 请注意,本文内容源自机器翻译,可能存在语法或其它翻译错误,仅供参考。如需获取准确内容,请参阅链接中的英语原文或自行翻译。

    Hi Gibbs、

    负责此线程的工程师(Pratik)在4月12日之前不在办公室。 因此、我建议您等待他能够深入了解这一点。 感谢您的理解。

    谢谢。

  • 请注意,本文内容源自机器翻译,可能存在语法或其它翻译错误,仅供参考。如需获取准确内容,请参阅链接中的英语原文或自行翻译。

    您好、Praveen

    还可以

    已经让客户知道。

    再次感谢。

    吉布斯

  • 请注意,本文内容源自机器翻译,可能存在语法或其它翻译错误,仅供参考。如需获取准确内容,请参阅链接中的英语原文或自行翻译。

    您好、 Pratik

    线程已挂起2周。

    您可以给我们一些意见吗?

    非常感谢

    吉布斯

  • 请注意,本文内容源自机器翻译,可能存在语法或其它翻译错误,仅供参考。如需获取准确内容,请参阅链接中的英语原文或自行翻译。

    Hi Gibbs、

    由于带宽有限、很抱歉有分层响应。

    我介绍了最近的 e2e 回复、重点问题是  

    cl-ort-resnet18-v1_4batch 无法在 TDA4[/quot]上运行

    在9.1.6.0之后,从共享日志看来,似乎模型"multitask-v3_3_2_core0"正在目标上运行,我是否知道这是相同的模型 cl-ort-resnet18-v1_4batch  或一些自定义的? 我认为突出显示的问题特定于  cl-ort-resnet18-v1_4batch、请说明。

    是由于  在主板上使用09.00.00.02 SDK 运行最新编译模型而导致的吗?

    是的、下面的 SDK 应该与9.1相同、请使用相同的 API。

    谢谢!

    [/quote]