[参考译文] PROCESSOR-SDK-J722S：如何使用 onnxrt_ep.py 确认转换的模型的重量类型？

尊敬的 Ken：

我不是100%肯定你在问什么。  编译 选项位于 ort 目录(包含 onnxrt_ep.py 的目录)中的 model_configs.py 文件中。 如果将权重类型表示为每个值的位数、则在该文件中设置 tensor_bits。  请访问： https://github.com/TexasInstruments/edgeai-tidl-tools/blob/master/examples/osrt_python/README.md

此外、还有一个脚本：

https://github.com/TexasInstruments/edgeai-tidl-tools/blob/master/docs/tidl_osr_debug.md

我在几周前尝试过它、您必须对其进行修改、因为它不起作用 OOB、但它可让您大致了解 int 位与 float 的对齐情况。  如果输出的数据看起来是这样的、则量化值和浮点值很接近。  

此致、

Chris

大家好、 Chris Tsongas：

很抱歉因我的个人休假而延迟回复。

我用自己的模型进行测试,并尝试设置tensor_bits = 8或16,但推理过程时间大致相同(35mS )。

从理论上讲、处理时间是否应该存在差异？

但是、我还测试了另一个芯片(2TOPS)、并且其推理过程时间比 TDA4更快(~20ms)。

因此、我想问： 我如何才能确认转换的模型onnxrt_ep.py确实是8位模型？

感谢您的帮助。

此致、
Ken

大家好、 Chris Tsongas：  

抱歉、我想确认是否tensor_bits在中设置model_configs.py。 例如、在以下代码中：