This thread has been locked.

If you have a related question, please click the "Ask a related question" button in the top right corner. The newly created question will be automatically linked to this question.

[参考译文] TDA4VM:TIDL 在 J721E 中执行目标:PROCESSOR-SDK-LINUX 还是 ARM?

Guru**** 2455360 points
Other Parts Discussed in Thread: TDA4VM

请注意,本文内容源自机器翻译,可能存在语法或其它翻译错误,仅供参考。如需获取准确内容,请参阅链接中的英语原文或自行翻译。

https://e2e.ti.com/support/processors-group/processors/f/processors-forum/1551410/tda4vm-tidl-execution-target-in-processor-sdk-linux-j721e-mma-or-arm

器件型号:TDA4VM


工具/软件:

尊敬的团队:

我将在 TDA4VM 平台上使用 TIDLP-J721E(边缘 AI Linux SDK)、以便使用 PROCESSOR-SDK-LINUX(TI 深度学习)进行 AI 推理。

我想说明一下以下内容:默认情况下、TIDL 推理是在 MMA(矩阵乘法加速器)上运行、还是在 ARM Cortex-A72 内核上运行?

如果 MMA 不支持模型或某些层、TIDL 是否会回退到 C7x DSP 或 ARM CPU?

是否可以配置或强制推理在 MMA(而不是 ARM)上运行 以进行测试或验证?


谢谢。此致
Firdose

  • 请注意,本文内容源自机器翻译,可能存在语法或其它翻译错误,仅供参考。如需获取准确内容,请参阅链接中的英语原文或自行翻译。

    尊敬的 Firdose:

    如果可以、TIDL 将在 C7x 上运行所有内容。  假设它在 C7x 上运行、则是在 C7x+MMA 组合上运行。   TIDL 中不支持某些 ONNX(和 TFL)层、这些层在 ARM 内核上运行。   


    如果您的模型完全受 TIDL 支持(所有层均受支持)、则默认情况下、它将运行 C7x(和 MMA)中的所有内容。  不会强制在 C7x/MMA 上运行、因为这是默认设置。  您可以通过在 deny =列表中添加图层名称来在 ARM 上运行一些图层。   即使这些层在 TIDL 中得到支持、也会在 ARM 上运行。  只有在 C7x 上的层行为不正确时才需要这样做、因为 ARM 大约比 C7x 慢 30 倍。   

    MMA 不能直接控制、因为它由 C7x “拥有“、并且 TIDL 假设 C7x 完全控制 MMA。 当您将一个层发送到 C7x 时、它将自动在 MMA 上运行该层的一部分、您无需执行任何操作即可执行此操作。

    此致、

    Chris