This thread has been locked.

If you have a related question, please click the "Ask a related question" button in the top right corner. The newly created question will be automatically linked to this question.

[参考译文] TDA4VM:推理基准测试统计信息-每个图像的 DDR BW

Guru**** 2468610 points


请注意,本文内容源自机器翻译,可能存在语法或其它翻译错误,仅供参考。如需获取准确内容,请参阅链接中的英语原文或自行翻译。

https://e2e.ti.com/support/processors-group/processors/f/processors-forum/1445132/tda4vm-inference-benchmarking-statistics---ddr-bw-per-image

器件型号:TDA4VM

工具与软件:

您好!

在云或 EVM 上执行推理时、我一直观察到每个图像的 DDR 使用率非常高、而我的同事在两年前报告仅为0MB。

我在云和 EVM 上都尝试过各种模型、总是得到很高的结果。

云上运行

模式

相同型号的旧结果:  

这些结果是否是典型结果、或者 edgeai_tidl_tools 的计算方法尚未更新?

谢谢。此致、

Azer

  • 请注意,本文内容源自机器翻译,可能存在语法或其它翻译错误,仅供参考。如需获取准确内容,请参阅链接中的英语原文或自行翻译。

    您好!

    由于美国感恩节假期、回复将延迟至下周。

    此致

    Suman

  • 请注意,本文内容源自机器翻译,可能存在语法或其它翻译错误,仅供参考。如需获取准确内容,请参阅链接中的英语原文或自行翻译。

    您好!

    我仍然有这个问题。 您是否知道它的来源?

    这是否可能与阻止我通过 TIDL-RT 在 C7x 内核上做出推断的问题相关?

    谢谢!

    Azer

  • 请注意,本文内容源自机器翻译,可能存在语法或其它翻译错误,仅供参考。如需获取准确内容,请参阅链接中的英语原文或自行翻译。

    嗨 Azer;

    我认为我们不应该与您同事两年前的结果进行比较;除非您仍有确切的软件和设置进行比较。

    通过查看屏幕截图、可以看出 DDR 的使用率不是很高。 您用于获得此屏幕快照的软件是什么?  

    我将把你的问题转交复员方案专家。 我们稍后将讨论 TIDL-RT 问题。

    谢谢。此致

    文立  

  • 请注意,本文内容源自机器翻译,可能存在语法或其它翻译错误,仅供参考。如需获取准确内容,请参阅链接中的英语原文或自行翻译。

    您好!

     我在 EVM 和云上获得相同的结果、因此我现在将详细说明如何通过云获得此结果。

    下面是我使用的模型:/home/root/edgeai-modelzoo/models/vision/classification/imagenet1k/mlperf/mobilenet_v1_1.0_224.tflite.

    我启动修改后的 VCLs-TFL 笔记本、以仅在 ARM 上运行。

    然后使用下面的代码,我得到基准测试结果:  

    from scripts.utils import plot_TI_performance_data, plot_TI_DDRBW_data, get_benchmark_output, print_soc_info
    stats = interpreter.get_TI_benchmark_data()
    fig, ax = plt.subplots(nrows=1, ncols=1, figsize=(10,5))
    plot_TI_performance_data(stats, axis=ax)
    plt.show()
    
    tt, st, rb, wb = get_benchmark_output(stats)
    print_soc_info()
    
    print(f'{selected_model_id.label} :')
    print(f' Inferences Per Second    : {1000.0/tt :7.2f} fps')
    print(f' Inference Time Per Image : {tt :7.2f} ms')
    print(f' DDR usage Per Image      : {rb+ wb : 7.2f} MB')

    我在 EVM 和其他模型上也做同样的操作。

    此致、谢谢

    Flora

  • 请注意,本文内容源自机器翻译,可能存在语法或其它翻译错误,仅供参考。如需获取准确内容,请参阅链接中的英语原文或自行翻译。

    好的、感谢您提供详细信息。 我将尝试您的脚本。 我可能需要一些时间来进行设置。  

    此致

    文立

  • 请注意,本文内容源自机器翻译,可能存在语法或其它翻译错误,仅供参考。如需获取准确内容,请参阅链接中的英语原文或自行翻译。

    您好!  

    我注意到我只有 在 ARM 上运行时才会出现这种异常。 DDR 结果在 C7x+MMA 上正常。

    此致、

    Azer

  • 请注意,本文内容源自机器翻译,可能存在语法或其它翻译错误,仅供参考。如需获取准确内容,请参阅链接中的英语原文或自行翻译。

    感谢您的反馈。 我来结束这个演示。 请随时为以后的问题提交一个新的问题。

    此致

    文立

  • 请注意,本文内容源自机器翻译,可能存在语法或其它翻译错误,仅供参考。如需获取准确内容,请参阅链接中的英语原文或自行翻译。

    您好!  

    由于我在核心 ARM 上仍然存在这个问题、因此这个问题仍未解决。  

    我刚才说过、我注意到问题不是在  C7x + MMA 上运行时出现的

    此致、

    Azer

  • 请注意,本文内容源自机器翻译,可能存在语法或其它翻译错误,仅供参考。如需获取准确内容,请参阅链接中的英语原文或自行翻译。

    尊敬的 Azer:

    我已回复有关此问题的新主题: https://e2e.ti.com/support/processors-group/processors/f/processors-forum/1469011/tda4vm-inference-benchmarking-statistics

    我希望这能解答您的问题。 如果没有、让我们在新主题中继续讨论。

    谢谢!

    Fabiana