• 状态
  • 已锁定 已锁定
  • 回复 9 回复
  • 订户 0 订户
  • 视图 68 视图
  • 用户 0 会员在此处
选项
选项
相关

This thread has been locked.

If you have a related question, please click the "Ask a related question" button in the top right corner. The newly created question will be automatically linked to this question.

[参考译文] TDA4VM：如何使用 edgeai-tidl-tools 配置批处理

admin
Guru**** 2466550 points
Other Parts Discussed in Thread: TDA4VM, AM69A

请注意，本文内容源自机器翻译，可能存在语法或其它翻译错误，仅供参考。如需获取准确内容，请参阅链接中的英语原文或自行翻译。

https://e2e.ti.com/support/processors-group/processors/f/processors-forum/1467909/tda4vm-how-to-configure-batch-processing-using-edgeai-tidl-tools

器件型号：TDA4VM
主题中讨论的其他器件： AM69A

工具与软件：

大家好！

我们尝试 使用在单核架构(TDA4VM)上配置批处理  edgeai-tidl-tools 但这似乎是唯一的  并行批处理  来使用稳压器  ADVANCE_OPTIONS：推理模式  和  advanced_options：num_cores . 但是、这些选项适用于多核平台。 如何以批处理模式继续转换网络？ 。  edgeai-tidl-tools 我们使用的版本是09_01_08_00。

注意：

我们还 尝试了使用旧方法( 在 Linux 环境中从 PSDK 版本09.01.00.06导入工具)并  设置  numBatches  所需批量大小的参数。  在这种情况下, 网络 编译成功,但 当在目标上执行时,我们 只得到第一批的正确结果,而其他批是垃圾的。 在 PC 上的结果是正确的。 逐层检查结果后、结果看起来是这样的 DataConvert 层有问题、因为它仅对第一批正确转换输入张量、而其他批全部为0。 我们还检查了 PSDK 版本 10.00.00.05、我们也遇到了同样的行为。 您能确认一下吗  DataConvert 图层在目标上以批处理模式正常工作、或者指出我们可能出错了什么？

  • 0
    TI__Guru**** 2466550 points
    请注意，本文内容源自机器翻译，可能存在语法或其它翻译错误，仅供参考。如需获取准确内容，请参阅链接中的英语原文或自行翻译。

    您好！

    是的、仅多核器件支持并行批处理。 建议使用兼容的 SoC (例如 AM69A)来利用此特性。  

    有关 批量处理的更多信息： https://github.com/TexasInstruments/edgeai-tidl-tools/blob/master/docs/tidl_fsg_multi_c7x.md

    10_01_00_02版本中的更改： https://github.com/TexasInstruments/edgeai-tidl-tools/releases/tag/10_01_00_02

    谢谢！

    Fabiana

  • 0
    TI__Guru**** 2466550 points
    请注意，本文内容源自机器翻译，可能存在语法或其它翻译错误，仅供参考。如需获取准确内容，请参阅链接中的英语原文或自行翻译。

    尊敬的 Fabiana：

    感谢您的回答。 我知道并行批处理仅支持多核器件。 然而、我的问题是单核器件是否支持批处理(不一定是并行的)。 在较旧的 PSDK 版本中、即使是单核平台也支持该模型、并且在导入过程中已将该模型调整为支持。 它仍然受支持吗？ 我假设是这样、因为我可以导入网络。 我遇到的唯一问题是 DataConvert 图层似乎无法正常用于多个批次。 您能否确认这是问题、以及如何在可能的情况下解决它？

    谢谢！

    Mladen

  • 0
    TI__Guru**** 2466550 points
    请注意，本文内容源自机器翻译，可能存在语法或其它翻译错误，仅供参考。如需获取准确内容，请参阅链接中的英语原文或自行翻译。

    尊敬的 Mladen：

    是的、单个 DSP 器件支持批处理。 您能否随配置一起提供任何日志？  

    谢谢！

    Fabiana

  • 0
    TI__Guru**** 2466550 points
    请注意，本文内容源自机器翻译，可能存在语法或其它翻译错误，仅供参考。如需获取准确内容，请参阅链接中的英语原文或自行翻译。

    尊敬的 Fabiana：

    不幸的是、我无法提供实际网络的完整日志、因为这些日志包含一些无法在公共论坛上共享的机密信息。 但是、在接下来的几天内、我将尝试通过一些更简单的网络重现问题并分享结果。

    此致、

    Mladen

  • 0
    TI__Guru**** 2466550 points
    请注意，本文内容源自机器翻译，可能存在语法或其它翻译错误，仅供参考。如需获取准确内容，请参阅链接中的英语原文或自行翻译。

    尊敬的 Mladen：

    听起来不错。

    谢谢！

    Fabiana

  • 0
    TI__Guru**** 2466550 points
    请注意，本文内容源自机器翻译，可能存在语法或其它翻译错误，仅供参考。如需获取准确内容，请参阅链接中的英语原文或自行翻译。

    尊敬的 Fabiana：

    这是一个 zip 文件、其中包含一个简单的网络、我使用该网络来重现问题。 您可以找到该工具在导入过程中生成的网络 ONNX 文件和日志文件。 此外、您还可以找到该工具在转换并转储目标(tda4_*)和 PC 仿真(PC_*)的 DataConvert 层的输出后生成的 SVG。 当您查看转储输出的文件时,可以清楚地观察到在 PC 上所有批次都是正确的,但在目标上,只有第一批是正确的,其他批次都是0。

    e2e.ti.com/.../1273.models.zip

    我传递到导入工具的配置文件如下所示。

    e2e.ti.com/.../simple_5F00_cfg.txt

    此致、

    Mladen

  • 0
    TI__Guru**** 2466550 points
    请注意，本文内容源自机器翻译，可能存在语法或其它翻译错误，仅供参考。如需获取准确内容，请参阅链接中的英语原文或自行翻译。

    尊敬的 Mladen：

    感谢您分享数据。 您能否说明您正在使用的 edgeai-tidl-tools 和 Processor SDK 版本？ 您是否可以使用版本兼容性表( 位于 master TexasInstruments/edgeai-tidl-tools··GitHub 上的 edgeai-tools/docs/version_compatibility_table.MD)验证它们是否兼容

    建议您使用最新版本：edgeai-tidl-tools 标签版本10_01_00_02和 Processor SDK 版本10.01.00.04。

    谢谢！

    Fabiana

  • 0
    TI__Guru**** 2466550 points
    请注意，本文内容源自机器翻译，可能存在语法或其它翻译错误，仅供参考。如需获取准确内容，请参阅链接中的英语原文或自行翻译。

    尊敬的 Fabiana：

    我们目前使用的是 PSDK v09.01.00.06 (因为这是我们客户端使用的版本)和 edgeai-tidl-tools v09_01_08_00中 的工具、但在使用 edgeai-tidl-tools v10_01_03_00中的工具(这是我们调查此问题时提供的最新版本)的 PSDK v10.00.00.05也存在同样的行为。 据我所见、最新的 edgeai-tidl-tools 版本是 10_01_04_00与 PSDK v10.01.00.04兼容、但我们尚未试用该版本。

    尽管如此、是否有人可以确认这是否是在新版本中修复的已知问题、以及我们如何针对早期版本(如果可能)修复(例如、应用补丁程序)？

    此致、

    Mladen

  • 0
    TI__Guru**** 2466550 points
    请注意，本文内容源自机器翻译，可能存在语法或其它翻译错误，仅供参考。如需获取准确内容，请参阅链接中的英语原文或自行翻译。

    尊敬的 Mladen：

    您可以在以下网址查看每个版本中修复的问题以及仍然存在的已知问题： https://github.com/TexasInstruments/edgeai-tidl-tools/releases

    我已确认可以针对此 SOC 进行批量处理、但尚未在内部复制该问题。 请允许我花一些时间与 团队讨论这个问题。 感谢您的耐心。

    此致、

    Fabiana