[参考译文] PROCESSOR-SDK-J722S：如何使用 onnxrt_ep.py 将模型转换为 uint8或 float 格式的输出、并确保权重也是 uint8或 float 格式？

admin

请注意，本文内容源自机器翻译，可能存在语法或其它翻译错误，仅供参考。如需获取准确内容，请参阅链接中的英语原文或自行翻译。

https://e2e.ti.com/support/processors-group/processors/f/processors-forum/1455985/processor-sdk-j722s-how-can-i-use-onnxrt_ep-py-to-convert-a-model-to-output-in-uint8-or-float-format-and-ensure-the-weights-are-in-uint8-or-float-format-as-well

器件型号：PROCESSOR-SDK-J722S

工具与软件：

嗨、团队：

我尝试/edgeai-tidl-tools/examples/osrt_python/ort/onnxrt_ep.py 转换 onnx 文件,我有一些问题如下:

1. 哪种类型的模型在运行推理时具有最佳性能: uint8或 float ?

2.如何导出 uint8/float 模型并确保转换成功?(因为在二进制文件中看不到权重类型)

>tensor_bits=8无论输入类型是 float 还是 uint8、是否将模型转换为 uint8？

3. 是否有任何文件解释这一过程?

>(例如、输入类型= uint8、由 uint8进行推理、然后针对输出类型解量化为浮点。)

[测试]

我尝试使用输入类型= uint8并使用浮点转换模型(mobilenetv1)、然后运行推理。处理时间相同。

我感到困惑的地方在于、转换后输入类型是否会影响模型权重类型。

感谢您的帮助。

10 个月前

0 admin 10 个月前

TI__Guru**** 2463330 points

请注意，本文内容源自机器翻译，可能存在语法或其它翻译错误，仅供参考。如需获取准确内容，请参阅链接中的英语原文或自行翻译。

大家好、团队：

更新问题1说明、 "最佳性能"是指速度方面的效率。

谢谢。

0 admin 10 个月前

TI__Guru**** 2463330 points

请注意，本文内容源自机器翻译，可能存在语法或其它翻译错误，仅供参考。如需获取准确内容，请参阅链接中的英语原文或自行翻译。

您好、Ken。我们将查看"mobilenetv1"并与您进行对比。

谢谢。此致

文立

0 admin 10 个月前

TI__Guru**** 2463330 points

请注意，本文内容源自机器翻译，可能存在语法或其它翻译错误，仅供参考。如需获取准确内容，请参阅链接中的英语原文或自行翻译。

您好、温：

我从 mobilenetv1 (输入类型= u8/float)转换结果以下：

输入(u8)的推理时间短于输入(float)的推理时间、

但输入(U8)会执行去量化、

这使得它看起来不合理。

感谢您的帮助。

0 admin 9 个月前

TI__Guru**** 2463330 points

请注意，本文内容源自机器翻译，可能存在语法或其它翻译错误，仅供参考。如需获取准确内容，请参阅链接中的英语原文或自行翻译。

您好、温：

请问是否有任何更新？

我非常感谢您提供有关如何确保转换后的模型可用的指导 uint8 或者悬空的串行数据。

感谢您的帮助。

0 admin 9 个月前

TI__Guru**** 2463330 points

请注意，本文内容源自机器翻译，可能存在语法或其它翻译错误，仅供参考。如需获取准确内容，请参阅链接中的英语原文或自行翻译。

您好、温：

如果您有任何最新情况、请告诉我、

感谢您的帮助。

0 admin 9 个月前

TI__Guru**** 2463330 points

请注意，本文内容源自机器翻译，可能存在语法或其它翻译错误，仅供参考。如需获取准确内容，请参阅链接中的英语原文或自行翻译。

您好、Ken。很抱歉耽误您的时间。我们将检查详细信息、并在下周向您提供更新。

此致

文立

0 admin 9 个月前

TI__Guru**** 2463330 points

请注意，本文内容源自机器翻译，可能存在语法或其它翻译错误，仅供参考。如需获取准确内容，请参阅链接中的英语原文或自行翻译。

您好、温：

非常感谢您的答复。

我期待收到您的答复。

此致、

肯尼亚

0 admin 8 个月前

TI__Guru**** 2463330 points

请注意，本文内容源自机器翻译，可能存在语法或其它翻译错误，仅供参考。如需获取准确内容，请参阅链接中的英语原文或自行翻译。

您好、温：

如果有任何更新、请告诉我。

非常感谢！

0 admin 8 个月前

TI__Guru**** 2463330 points

请注意，本文内容源自机器翻译，可能存在语法或其它翻译错误，仅供参考。如需获取准确内容，请参阅链接中的英语原文或自行翻译。

您好、温：

我想问更多问题：

如何配置 TIDL 示例代码以使用 MMA 进行推理？
两个 DLP 的应用是什么？他们可以单独运行不同的模型、还是只能运行相同的模型？

感谢您的帮助。

0 admin 8 个月前

TI__Guru**** 2463330 points

请注意，本文内容源自机器翻译，可能存在语法或其它翻译错误，仅供参考。如需获取准确内容，请参阅链接中的英语原文或自行翻译。

您好、Ken；

1. TIDL 工具会自动处理这种情况：如果目标硬件(SOC)具有 MMA、TIDL 将分析模型并将可以实现的关键任务分配给 MMA。

2.它是高直通/并行处理应用的理想选择。它们可以运行不同的模型或具有多个输入流的同一模型。例如、两个视频流可以来自两个不同的摄像机、但使用同一型号在同一设备上进行处理而不会全折扣。换句话说、它的工作方式与您有两个器件的工作方式相同。

如果您有新的/不同的问题、请创建新的 TT。以便不同专家快速解答您的问题。

谢谢。此致

文立

处理器（参考译文帖）

处理器（参考译文帖）(Read Only)

[参考译文] PROCESSOR-SDK-J722S：如何使用 onnxrt_ep.py 将模型转换为 uint8或 float 格式的输出、并确保权重也是 uint8或 float 格式？