[参考译文] J784S4XEVM：将独立散点运算符卸载到 TIDL 时出现问题 (SDK 11.2)

尊敬的 Ghassen：

我在编译过程中没有看到任何错误、编译过程中似乎存在问题。 您能否检查生成的最终伪影量化为 8/16 位或仍为 32 位模型。

您是否可以共享使用编译步骤的编译参数。

此致、
Gokul

您好、Gokul、

 编译失败似乎是由于我们一方的问题造成的。 执行全新清理构建后、连接的模型成功编译并在主机上正确运行。

但是、目标上的误差仍在发生。

以下是用于该编译的编译参数：

“Accurity_level"：“：1、
“debug_level"：“：1、
“张量_位数“: 16,
“advanced_options: calibration_frames“: 1,
“advanced_options: calibration_iterations“: 1,
“advanced_options: enable_custom_layers“: 1,

您可以在这里找到所使用的工件: e2e.ti.com/.../scatterND_5F00_standalone_5F00_artifacts.zip

此致、

Ghassen

尊敬的 Ghassen：

16 位量化不能完全支持散射噪声。 可以使用 tensor_bits 来 8 并重试。 我已经尝试过,它是为我工作,没有任何错误。

此致、
Gokul

您好、Gokul、

感谢您的答复。

我尝试设置tensor_bits为 8。 模型在电路板上运行时没有任何错误、但输出不正确。

• 在主机上： 输出不正确、这可能是由量化损耗引起的。

• 在目标上： 输出始终如一 0 。

您能否同时检查您一侧的输出、看看是否观察到相同的行为？

此致、

Ghassen

尊敬的 Ghassen：

[报价 userid=“605537" url="“ url="~“~/support/processors-group/processors/f/processors-forum/1621494/j784s4xevm-issue-offloading-standalone-scatternd-operator-to-tidl-sdk-11-2/6256920 在目标上： 输出始终如一 0 .

在我的例子中,无论在输出数组中有一个由主机推理或目标推理与-d（无卸载）给出的值,我都能在目标模式 ( c7x ) 推理中看到这些索引中的值。

但该值与基准输出不匹配。

我正在与内部团队进行检查、无论这是一个错误还是一些未记录的不受支持的配置。

此致、
Gokul

您好、Gokul、

感谢您与内部团队核实。

我想跟进并询问是否有关于此问题的任何更新。 您是否能够确认此行为是由错误还是不受支持的配置引起？

此致、

Ghassen

尊敬的 Ghassen：

这是一个错误在 tidl 中,我已经提交了一个 JIRA 为此.

根据 inData 中的维度数和索引中的维度值、该模型似乎正在发生某些特定的情况、但此模型失败了。 对于与标准匹配的其他模型尺寸、工作正常。 无论如何、在编译或推理期间应该记录或报告错误。 而不是抛出错误、而是给出错误的结果。 因此这是一个有效的错误。

在此处附上内部跟踪链接 jira.itg.ti.com/.../TIDL-13033

根据我的理解、它应该在下一个版本中修复。

此致、
Gokul

您好、Gokul、

感谢您提供这些详细信息。

我还有一个问题、在下一个版本中是否会完全支持 16 位量化？

此致、

Ghassen

尊敬的 Ghassen：

[报价 userid=“605537" url="“ url="~“~/support/processors-group/processors/f/processors-forum/1621494/j784s4xevm-issue-offloading-standalone-scatternd-operator-to-tidl-sdk-11-2/6266762

我还有一个问题、在下一个版本中是否会完全支持 16 位量化？

[/报价]

16 位也应该在下一个版本中得到支持,让我再次检查,并在下周确认您。

此致、
Gokul