This thread has been locked.

If you have a related question, please click the "Ask a related question" button in the top right corner. The newly created question will be automatically linked to this question.

[参考译文] TDA2EXEVM:在不同的 EVE 内核上运行多个模型

Guru**** 2943000 points
请注意,本文内容源自机器翻译,可能存在语法或其它翻译错误,仅供参考。如需获取准确内容,请参阅链接中的英语原文或自行翻译。

https://e2e.ti.com/support/processors-group/processors/f/processors-forum/670084/tda2exevm-running-multiple-models-on-different-eve-cores

器件型号:TDA2EXEVM

您好、Kumar、

我有4种不同的模型需要在 TDA2X 上运行。 为了获得30fps 的实时性能、我已经根据每个 EVE 内核计算能力在 MAC 数量方面提供了多少计算?

根据数据表、频率为530MHz 的 EVE 内核可提供8GMAC。  

8千兆 MAC @ 1 fps

Aprox 5亿 MAC @ 15 fps

Aprox 2.5亿 MAC @ 30 fps

从上面的计算中,如果我设计的每个深度学习模型的 MACS 小于2.5亿,那么所有4个模型是否可以在4个 EVE 内核上同时以30 fps 运行?

此致、

Sagar Kale

  • 请注意,本文内容源自机器翻译,可能存在语法或其它翻译错误,仅供参考。如需获取准确内容,请参阅链接中的英语原文或自行翻译。

    您好 Sagar、

     您的计算是正确的。 这些 MAC 数考虑到 VCOP Mac 的100%利用率。 相反、您需要考虑80%的利用率。  有关各种卷积配置的 MAC 利用率的详细信息、请参阅数据表。 如果您的网络具有较小的功能图(小于16x16),则这些层的利用率将小于此值。

    如果您可以使用 Caffe-Jacinto 进行 稀疏训练、您的模型可能具有更高的 MAC。 有关稀疏培训的更多详细信息、请参阅以下内容。

    https://github.com/tidsp/caffe-jacinto

    https://github.com/tidsp/caffe-jacinto-models

    http://openaccess.thecvf.com/content_cvpr_2017_workshops/w4/papers/Mathew_Sparse_Quantized_Full_CVPR_2017_paper.pdf

    此致、

    Kumar.D

  • 请注意,本文内容源自机器翻译,可能存在语法或其它翻译错误,仅供参考。如需获取准确内容,请参阅链接中的英语原文或自行翻译。
    您好 Kumar、


    我在评估模型的 Mac 时面临类似的问题。

    从 TIDL_model_import.exe,我可以从日志中获取模型的 Mac。

    我尝试了同一款原型原型,不同的咖啡因模型,一种是稀疏的,另一种不是。

    但获得相同的 Mac。

    从纸张上我知道我们可以通过稀疏属性来减少 Mac (由于大量零)。

    是否有任何方法可以根据稀疏度来评估总体 Mac?

    因为我不熟悉 EVE 内核、所以我认为 EVE 内核可以利用稀疏度来获得更好的性能。

    如果有任何错误,请告诉我。

    非常感谢。

    此致、
    黎家祥
  • 请注意,本文内容源自机器翻译,可能存在语法或其它翻译错误,仅供参考。如需获取准确内容,请参阅链接中的英语原文或自行翻译。
    Eric、您在下面的这个问题中也有简单的问题。
    e2e.ti.com/.../2480884
  • 请注意,本文内容源自机器翻译,可能存在语法或其它翻译错误,仅供参考。如需获取准确内容,请参阅链接中的英语原文或自行翻译。
    是的,谢谢。

    此致、
    黎家祥