This thread has been locked.

If you have a related question, please click the "Ask a related question" button in the top right corner. The newly created question will be automatically linked to this question.

[参考译文] J784S4XEVM:有关 TIDL 平铺行为和自定义运算符执行复制的问题

Guru**** 2648525 points
请注意,本文内容源自机器翻译,可能存在语法或其它翻译错误,仅供参考。如需获取准确内容,请参阅链接中的英语原文或自行翻译。

https://e2e.ti.com/support/processors-group/processors/f/processors-forum/1590992/j784s4xevm-questions-about-tidl-tiling-behavior-and-custom-operator-execution-duplication

器件型号: J784S4XEVM

您好:

我目前正在整合多个  自定义运算符 一起执行的大型 ONNX 模型中 模型
实现工作正常、但我们观察到了一种我们希望更好地理解的行为。

发现的问题:

运行 完整模型时、我们的一些自定义运算符是 执行了多次 、尽管 ONNX 图形仅包含运算符的单个实例。

分析日志后、我们注意到这种行为仅发生在内部  大型模型 TIDL 在内部执行 平铺 (将张量拆分为较小的图块以用于内存和调度约束)。

当前理解:

  • 当张量超过一定的内部限制时、TIDL 会应用内部平铺策略。
  • 当发生平铺时、 可以多次调用相同的自定义运算符内核 、每个图块一次。
  • 这可能导致:
    • 对自定义 op 实现的多次调用。
    • 不同形状、具体取决于瓷砖尺寸。
    • 单独测试自定义操作时与“单次调用“预期不同的执行行为。

问题:

为了更好地支持生产中的定制操作员、我想澄清以下几点:

  1. TIDL 如何确切决定应用拼贴?
    是否有记录的张量大小阈值或内部内存限制?
  2. 平铺如何影响自定义操作员?
    是否应该多次调用自定义运算符(每个图块一次)?
    对平铺下的自定义操作支持的输入/输出形状是否有限制?
  3. 是否有建议的方法来确保自定义运算符为整个张量而不是每个图块运行一次?
    还是必须实现所有自定义操作以支持任意分割/部分张量形状?
  4. 模型中的自定义运算符是否存在限制(或最佳实践)、这些运算符可能会进行拼贴?

有关 TIDL 平铺及其对自定义运算执行的影响的任何指导、文档参考或内部详细信息都将非常有帮助。

非常感谢。

 

  • 请注意,本文内容源自机器翻译,可能存在语法或其它翻译错误,仅供参考。如需获取准确内容,请参阅链接中的英语原文或自行翻译。

    您好;

    感谢您的提问。

    使用大型模型时、您是否看到警告或错误消息? 模型推理数值结果看起来是否正确?

    一般来说、平铺是 TIDL 使用的一种优化架构。 它将在编译期间自动实现。 大数据将被划分为较小的一个(逻辑块)、因此它们可以留在本地高速存储器(例如 L2)中、而计算则在本地存储器中执行(速度更快)。

    因此,带有运算符的图块可能会被多次调用,这取决于计算和图块被分割的方式。

    对于您的大型模型、您仍必须遵循 TIDL 的准则、约束。  

    这只是我的基本一般理解。 我可以将您的问题转发给我们的专家,以获得更多的见解和一般指南,与您的问题相关.

    同时,如果你能提供一些关于你的运营商的描述,这将有助于我们更好地理解,并能够清楚地回答你的问题。

    谢谢。此致

    Wen Li   

  • 请注意,本文内容源自机器翻译,可能存在语法或其它翻译错误,仅供参考。如需获取准确内容,请参阅链接中的英语原文或自行翻译。

    尊敬的 Ghassen:   

    您的观察结果和问题很有洞见、但完整的答案超出了我们公共 e2e 论坛提供的标准支持范围。  您是否在使用 TI FAE?

    此致、

    Will

  • 请注意,本文内容源自机器翻译,可能存在语法或其它翻译错误,仅供参考。如需获取准确内容,请参阅链接中的英语原文或自行翻译。

    您好 William、

    我们目前未与 TI FAE 合作。 我们正在为 TI 的一个关键客户提供支持、并且此级别的技术细节不涉及为其分配的 FAE。

    如果更适合私下继续此讨论、请随时将该主题转换为私人讨论、或直接通过 ghassen.souissi@elco-solutions.de 与我联系

    此致、

    Ghassen