• State Resolved
  • Locked Locked
  • Replies 3 replies
  • Subscribers 0 subscribers
  • Views 59 views
  • Users 0 members are here
Options
Options
Similar topics

This thread has been locked.

If you have a related question, please click the "Ask a related question" button in the top right corner. The newly created question will be automatically linked to this question.

[参考译文] TDA4VM：LLM：在 TI 硬件上编译/执行

admin
Guru**** 1783340 points
请注意，本文内容源自机器翻译，可能存在语法或其它翻译错误，仅供参考。如需获取准确内容，请参阅链接中的英语原文或自行翻译。

https://e2e.ti.com/support/processors-group/processors/f/processors-forum/1404412/tda4vm-llm-compilation-execution-on-the-ti-hardware

器件型号：TDA4VM

工具与软件：

团队成员、您好！

1. TI 平台是否支持大型语言模型(LLM)？

2、 运行这些型号所需的任何支持文档?

3.如果是,我已经将 LLM 模型转换为 ONNX 模型,因为它有多个子模块,如 unet、编码器、解码器。 如何运行这些模型(您能详细介绍这些步骤吗) ？  

提前感谢

  • 0
    TI__Guru**** 1783340 points
    请注意，本文内容源自机器翻译，可能存在语法或其它翻译错误，仅供参考。如需获取准确内容，请参阅链接中的英语原文或自行翻译。

    您好！
       目前我们尚未验证 LLM 模型。 您可以参阅以下列表以了解支持的运算符及其限制：  

    https://github.com/TexasInstruments/edgeai-tidl-tools/blob/master/docs/supported_ops_rts_versions.md

    此致、

    Anshu

  • 0
    TI__Guru**** 1783340 points
    请注意，本文内容源自机器翻译，可能存在语法或其它翻译错误，仅供参考。如需获取准确内容，请参阅链接中的英语原文或自行翻译。

    感谢您的响应

    1. TI 何时开始支持/测试 LLM 模型？

    2.理论上 LLM 模型可以在 TDA4EVM 上运行吗?

  • 0
    TI__Guru**** 1783340 points
    请注意，本文内容源自机器翻译，可能存在语法或其它翻译错误，仅供参考。如需获取准确内容，请参阅链接中的英语原文或自行翻译。

    尊敬的 Venu：
     

    [报价 userid="612885" url="~/support/processors-group/processors/f/processors-forum/1404412/tda4vm-llm-compilation-execution-on-the-ti-hardware/5387951 #5387951"]

    1. TI 何时开始支持/测试 LLM 模型？

    [报价]

      目前、我们没有任何支持任何特定 LLM 模型的即时计划。

    2. 从理论上讲、LLM 模型可以在 TDA4EVM 上运行吗？[/QUOT]

    只要 TIDL 支持所有层、它就可以运行、但正如我提到的、我们尚未验证任何此类模型、因此它们可能会存在一些问题。

    此致、

    Anshu