您好,
我们正在00.11 Ubuntu操作系统上使用PSDK-RTOS-J721E 7.01。
我们正在尝试通过大型数据集为神经网络执行主机仿真。 网络输出正常,但TIDL推断处理一个帧需要很长时间。
我们可以做些什么来缩短此帧执行时间? 是否可以并行处理输入帧?
谢谢,此致。
This thread has been locked.
If you have a related question, please click the "Ask a related question" button in the top right corner. The newly created question will be automatically linked to this question.
您好,
我们正在00.11 Ubuntu操作系统上使用PSDK-RTOS-J721E 7.01。
我们正在尝试通过大型数据集为神经网络执行主机仿真。 网络输出正常,但TIDL推断处理一个帧需要很长时间。
我们可以做些什么来缩短此帧执行时间? 是否可以并行处理输入帧?
谢谢,此致。
您好,
一 个可以 立即使用的解决方案是 使用AVX模式构建TIDL。 此版本将启用对 卷积层使用AVX指令(这些指令大多数在任何新的Intel/AMD计算机中可用)。 要启用此功能,您需要为AVX重新构建TIDL,同样可以在 makerules/config.mk文件中设置Tidl_build_with AVX =1。 请告诉我们这是否有帮助? 请注意,您可以 在多个内核(每个内核 处理不同的输入)上执行此操作 ,以 进一步缩短执行时间。
此致,
Anshu
您好Anshu:
但是404.6857万但是如果404.6857万如果您导入模型并使用相同的模型,则您将会在没有模拟和AVX[预期的情况下获得相同的结果]。我对 PeleNet模型进行了推断,有AVX,也有AVX没有AVX。 这里所附的结果显示了我前面提到的差异。 正如我 前面也提到的那样,在这种情况下,这些差异是微不足道的。 但我们期望它们 完全一样,而不是。
e2e.ti.com/.../TIDL_5F00_regular_5F00_vs_5F00_AVX_5F00_output.zip
请告诉我您对 这些数据的看法。
谢谢,此致。
您好Varun,
除了细微更改(模型名称更改和路径修改)之外,我没有修改TIDL提供的导入和推断配置。 为了供您参考,我将在此处附加配置。
e2e.ti.com/.../tidl_5F00_import_5F00_peleeNet.txt
e2e.ti.com/.../tidl_5F00_infer_5F00_pelee2.txt
谢谢,此致。