[参考译文] TDA4VM：PSDK-RTOS-J721E/TIDL/infer:主机仿真执行时间

admin

请注意，本文内容源自机器翻译，可能存在语法或其它翻译错误，仅供参考。如需获取准确内容，请参阅链接中的英语原文或自行翻译。

https://e2e.ti.com/support/processors-group/processors/f/processors-forum/1092091/tda4vm-psdk-rtos-j721e-tidl-inference-host-emulation-execution-time

部件号：TDA4VM

您好，

我们正在00.11 Ubuntu操作系统上使用PSDK-RTOS-J721E 7.01。

我们正在尝试通过大型数据集为神经网络执行主机仿真。网络输出正常，但TIDL推断处理一个帧需要很长时间。

我们可以做些什么来缩短此帧执行时间？是否可以并行处理输入帧？

谢谢，此致。

2 年多前

0 admin 2 年多前

TI__Guru**** 646230 points

请注意，本文内容源自机器翻译，可能存在语法或其它翻译错误，仅供参考。如需获取准确内容，请参阅链接中的英语原文或自行翻译。

您好，

一个可以立即使用的解决方案是使用AVX模式构建TIDL。此版本将启用对卷积层使用AVX指令(这些指令大多数在任何新的Intel/AMD计算机中可用)。要启用此功能，您需要为AVX重新构建TIDL，同样可以在 makerules/config.mk文件中设置Tidl_build_with AVX =1。请告诉我们这是否有帮助？请注意，您可以在多个内核(每个内核处理不同的输入)上执行此操作，以进一步缩短执行时间。

此致，

Anshu

0 admin 2 年多前

TI__Guru**** 646230 points

请注意，本文内容源自机器翻译，可能存在语法或其它翻译错误，仅供参考。如需获取准确内容，请参阅链接中的英语原文或自行翻译。

您好Anshu：

启用AVX后，网络执行时间已有显著缩短。

但网络输出也有一些细微的差异。这些差异看起来几乎可以忽略不计，但我想知道它们对其他一些网络和投入的组合是否重要。

根据您的经验，您认为我们可以可靠地使用AVX吗？

谢谢，此致。

0 admin 2 年多前

TI__Guru**** 646230 points

请注意，本文内容源自机器翻译，可能存在语法或其它翻译错误，仅供参考。如需获取准确内容，请参阅链接中的英语原文或自行翻译。

您好，

通常，差异是由于浮点运算。但是，如果您导入一个模型并使用相同的模型来推断AVX，而不是AVX，则您将获得相同的结果。如果情况并非如此，请告诉我们。

此致，
Anshu

0 admin 2 年多前

TI__Guru**** 646230 points

请注意，本文内容源自机器翻译，可能存在语法或其它翻译错误，仅供参考。如需获取准确内容，请参阅链接中的英语原文或自行翻译。

您好Anshu：

但是404.6857万但是如果404.6857万如果您导入模型并使用相同的模型，则您将会在没有模拟和AVX[预期的情况下获得相同的结果]。
我对 PeleNet模型进行了推断，有AVX，也有AVX没有AVX。这里所附的结果显示了我前面提到的差异。正如我前面也提到的那样，在这种情况下，这些差异是微不足道的。但我们期望它们完全一样，而不是。

e2e.ti.com/.../TIDL_5F00_regular_5F00_vs_5F00_AVX_5F00_output.zip

请告诉我您对这些数据的看法。

谢谢，此致。