This thread has been locked.

If you have a related question, please click the "Ask a related question" button in the top right corner. The newly created question will be automatically linked to this question.

[参考译文] J784S4XEVM:TDA4VH-Q1:[TIDL] SDK 11_01_00_04:对 Softmax 输出数据类型的阐释

Guru**** 2694555 points
请注意,本文内容源自机器翻译,可能存在语法或其它翻译错误,仅供参考。如需获取准确内容,请参阅链接中的英语原文或自行翻译。

https://e2e.ti.com/support/processors-group/processors/f/processors-forum/1595774/j784s4xevm-tda4vh-q1-tidl-sdk-11_01_00_04-clarification-on-softmax-output-datatype

器件型号: J784S4XEVM

尊敬的团队:

在 SDK 11_01_00_04 中、TIDL 会为 Softmax 运算输出报告 float32。 (文物: test_softmax_smaller__1_PC_sha0_sdk_11_1_float_out.zip )  

相比之下、Transposal→Softmax 输出 uint8(非悬空)。 (文物: test_softmax_smaller__1_PC_sha0_sdk_11_1_uchar_out.zip )  

问题:

  1. 无论输入位宽如何、TIDL 上 Softmax 的 float32 输出是否属于预期行为?
  2. 为什么 ONNX 路径上的 Transpose+Softmax 不产生浮点输出? 这是由于不同的量化/去量化处理或特定于运算的设计造成的?
  3. host 我们是否应该普遍支持 float32 作为某些运算的输出,这是否记录在任何地方?
  4. 对于这些情况、PC 和 TDA4 之间的数据类型是否一致?

请确认设计意图和建议的处理方式。

此致、

Sindhuja.

  • 请注意,本文内容源自机器翻译,可能存在语法或其它翻译错误,仅供参考。如需获取准确内容,请参阅链接中的英语原文或自行翻译。

    尊敬的 Sindhuja:

    有关 Softmax 的文档可在此处找到: github.com/.../supported_ops_rts_versions.md

    我不知道为什么您会看到 Softmax 本身使用 float32、但我也会在内部仔细检查。

    感谢您在调查过程中耐心等待。

    此致、

    Christina

  • 请注意,本文内容源自机器翻译,可能存在语法或其它翻译错误,仅供参考。如需获取准确内容,请参阅链接中的英语原文或自行翻译。

    尊敬的 Sindhuja:

    1.行为如下:

     如果 softmax 的输入被平展,而 Softmax 的下一层是网络中的数据层,则 softmax 的 outElement 类型为 float32。 您可以在 tidl_import_common.cpp 中 TIDL_tfOutReshapeSoftmax 函数内的源代码中看到这一点

    2.情况并非如此,行为如 1 所述。 然而、可能的行为解释是、如果 softmax 输出是平坦的并且是网络的输出、则它与最终分级层类似、因此 float32 但转置+ softmax 通常用于网络中间、例如变压器中的注意(通常用于 TI 实现中)

    3.没有关于这方面的文件。 这种类型的行为很可能仅适用于 softmax 层

    4.是的,它是一致的,因为相同的伪影运行在目标上。