Thread 中讨论的其他器件:AM69A、SK-AM69、SK-AM68
工具/软件:
我需要在 AM69A 平台上优化 iResNet101 模型。
平均时间:332.367 毫秒太高—我们的目标约为 10 毫秒。 在 QCM6490 上、该模型实现了 10.22ms 的推理时间。
This thread has been locked.
If you have a related question, please click the "Ask a related question" button in the top right corner. The newly created question will be automatically linked to this question.
工具/软件:
我需要在 AM69A 平台上优化 iResNet101 模型。
平均时间:332.367 毫秒太高—我们的目标约为 10 毫秒。 在 QCM6490 上、该模型实现了 10.22ms 的推理时间。
我在 TIDLRT 上运行、但模型中没有任何更改、您可以在此处查看更多信息: PROCESSOR-SDK-AM69A:切换到使用 tidlcpp 库时出现的问题 。
抱歉、我错误地勾选了“解决方案“、因此我将创建一个新主题: e2e.ti.com/.../processor-sdk-am69a-optimization-resnet101
尊敬的 Tung:
我曾尝试在 10_01_04 上运行模型、但似乎无法正常运行。 您能否提供有关用于在 EVM 上运行的可执行文件的更多信息? 具体来说、我注意到您有一个名为./tidlrt_ResNet 的可执行文件。 当我们在/opt/tidl_test 中使用./TI_DEVICE_ARMv8_test_dl_algo_host_rt.out 时、模型无法正确执行。
如果您能提供任何见解来帮助我们确定是否需要将此问题上报给我们的开发团队、我将不胜感激。
此致、
Rohit
嗨、Rohit、
之前、我成功测试了 TI_DEVICE_armv8_test_dl_algo_host_rt 目标。 现在、我需要使用 TIDL Runtime 从源代码中运行模型。 我正在采取以下步骤:
已克隆存储库:
git clone github.com/.../edgeai-tidl-tools.git
已签出分支 10_01_00_02。
在中添加了我的代码 /opt/edgeai-tidl-tools/examples/tidlrt_cpp 、以构建运行 CMC ResNet-101 模型的应用程序。
e2e.ti.com/.../7652.resnet.zip
您可以在此处查看更多信息: e2e.ti.com/.../processor-sdk-am69a-issue-when-switching-to-using-the-tidlcpp-library
亲爱的 Rohit Rao Christina Kuruvilla
我们的 iResNet-101 模型已经过训练,并在 Nvidia、Qualcomm 和 Rockchip 等平台上运行良好。 目前、我们正在基于 TI 平台开发一款新产品、但遇到了一些问题。

我相信我们不是唯一的客户 — 您的新客户也可能面临类似的问题。 因此、我们希望 TI 能够为我们提供与该问题直接相关的指导和文档、以便我们能够有效地研究和解决该问题:
分析长推理时间的原因(例如模型分析,图层,函数)
优化 TI 平台模型的方法
重新训练模型以使其与 TI 平台兼容的过程。
我想强调的是、我们对我们的产品开发是非常严肃的。 我们已经购买了 SK-AM69、并收到 15 套 AM69A 芯片用于 SMT。 该设计已经达到 PCB 级、我们正在购买 SK-AM68。
有几个因素可能会影响吞吐量、包括量化位、量化方法和编译期间使用的归一化因子。 您应该在 import.txt 文件中查看 inQuantFactor 参数。 根据模型的训练设置调整此参数有助于保持准确性。
通常可以通过在编译期间优化导入配置设置来解决精度问题。
请查看以下文档、了解调试精度问题。
software-dl.ti.com/.../md_tidl_fsg_steps_to_debug_mismatch.html