[参考译文] AM62A7：精度问题- C7x 与 CPU

尊敬的 Giann：

嗯、我不知道为什么会这样。 对于普通的 CNN 模型,使用批次维度(" N'表示 NCHW 格式)的处理方式是,全局层(如 GEMM、GlobalAvgPool 等)可能难以处理,因为批次沿宽度维度平铺,而不是对批次具有完全独立的维度。

但是、您提供的输入仅使用了2个维度(从某种意义上讲、是硬件)。 我们不经常看到像这样简单的分类器——相反,它通常是更复杂的 CNN

您还能在您的工件/tempDir 中发布其他 SVG 吗？ 我想看看每张张量的尺寸。  

使用 tensor_bits=32根本不会改变这种行为？ 在您的模型的第一个行之后、所有行(在您的案例中、批次)都是这样的？

尊敬的 Giann：

感谢您的详细介绍。 一直很感激！ 问题很明显。 所有其他批次/行的输出看起来是随机的

在调试精度问题时、通常最好在 PC 端处理并使用仿真工具(与在 EVM 上运行的 Python 代码相同)。  

• 仅 PC 支持 Tensor_Bits = 32、并且此参考模式用于使用浮点数学执行基准。 在此背景下不会运行校准、也不会在 EVM 上运行校准。
• Tensor_bits=16是一种独立模式、进行16位定点计算(包括从浮点->固定的校准)。

如果您愿意分享您的模型版本(随机权重可以),我们可以看看。  

否则、很难知道此处的确切原因、因此我们需要更深入地了解。 我们首先在 PC 上测试该基准模式(tensor_bits=32) 并检查输出。 如果这不正确、则会出现功能错误、并将其视为错误。  

BR、
Reese

嗨、Reese！

我记得在 PC 上用32位测试它、结果稍好一些。

我将附加一个包含以下文件和文件夹的 zip 文件：

e2e.ti.com/.../e2e_5F00_accuracy.zip

• 数据： 此文件夹位于 osrt_python/ort/文件夹内、包含要推断的输入；
• onnxrt_ep_mlp5.py： 我的用例的自定义编译脚本、位于 osrt_python/ort/文件夹内；
• mLP_Pytorch_static5.onnx 和 mLP_Pytorch_static5_label_map.json： 用于测试目的的模型和用于检查准确性的标签。 这两个文件都位于 Docker 的 edgeai-tidl-tools/models/public 文件夹中；

您可能比我更熟悉该过程、但：

# to compile using my custom compilation script
/home/root/examples/osrt_python/ort# python3 onnxrt_ep_mlp5.py -m mlp_pytorch_static5 -c

# to infer simulating the c7x processor and check the accuracy
/home/root/examples/osrt_python/ort# python3 onnxrt_ep_mlp5.py -m mlp_pytorch_static5

# to infer simulating the cpu and check the accuracy
/home/root/examples/osrt_python/ort# python3 onnxrt_ep_mlp5.py -m mlp_pytorch_static5 -d

如果我能提供任何帮助、或者看到您不确定的东西、请告诉我。

感谢您的帮助！

此致、

Giann。

您好 Giann

Unknown 说：

我记得在 PC 上用32位进行了测试、结果略好一些。

稍好一点、但仍然错了、对吧？ 这是一个 轻微的错误 或 非常错  (即第一个批次后不可用)、就像您之前显示的一样？

32位模式应是参考/基线、因此如果不正确、则会建议参考实现中出现问题、这也会影响任何硬件优化/加速实现。  

e2e_accuracy.zip

• 数据： 此文件夹位于 osrt_python/ort/文件夹内、包含要推断的输入；
• onnxrt_ep_mlp5.py： 我的用例的自定义编译脚本、位于 osrt_python/ort/文件夹内；
• mLP_Pytorch_static5.onnx 和 mLP_Pytorch_static5_label_map.json： 用于测试目的的模型和用于检查准确性的标签。 这两个文件都位于 Docker 的 edgeai-tidl-tools/models/public 文件夹中；

感谢您提供此内容。 请稍等几天、在此处提供更新。 如果我对所提供的脚本或数据有一些疑问、我会尽快告诉您。

• 请确认 edgeai-tidl-tools 上的 SDK 版本和/或标签。 该10_01_00_04/10.1 SDK 是什么？

正如提醒一样、我很可能会确认这是一个参考实现问题、它将被记录为一个错误、并需要一些时间来解决。  

BR、
Reese

你好 Reese！

Unknown 说：

稍好一点、但仍然错误、对吧？ 这是一个 轻微的错误 或 非常错  (即第一个批次后不可用)、就像您之前显示的一样？

没错。 ‘m、我认为、我回顾的"目标更好的结果"可能只是结果随机性的产物。 我重复打了两次、这次32位的精度约为52%。

Unknown 说：

请确认 edgeai-tidl-tools 上的 SDK 版本和/或标签。 这个10_01_00_04/10.1 SDK 是吗？

我当时使用版本10_00_08_00在板上编译和测试东西。 但我会分配一些时间来从头开始测试版本10_01_00_04的东西,并返回给你。

Unknown 说：

正如我所说的、很可能我确认这是一个参考实施问题、它将被记录为一个错误、并需要时间来解决。  [/报价]

不用担心、我理解这些事情需要时间。 我最后发布此问题的部分原因是为了确保我没有错过任何关键步骤、还可以帮助发现其中一个难以跟踪的错误。

感谢您一如既往的大力支持。

此致、

Giann。

尊敬的 Giann：

我应该提前问过、你能给我提供你用来做这个的 model_config 条目吗？ 我想您可能也修改了一些后处理代码(common_utils.py？) 这也非常有帮助。

也许最简单的事情是 tarball 你的 examples/osrt_python 目录 ,并共享这样所有的源代码是一致的

BR、
Reese

您好 Reese、

是的、这里是：

    "mlp_pytorch_static5": create_model_config(
        source=AttrDict(
            infer_shape=True,
        ),
        preprocess=AttrDict(
            resize=None,
            crop=None,
            data_layout="NCHW",
            resize_with_pad=False,
            reverse_channels=False,
        ),
        session=AttrDict(
            session_name="onnxrt",
            model_path=os.path.join(models_base_path, "mlp_pytorch_static5.onnx"),
            input_optimization=True,
        ),
        task_type="other",
        extra_info=AttrDict(num_rows=180, num_classes=5)
    ),

其中 models_base_path 是多少

models_base_path = '../../../models/public/'

Unknown 说：

也许最简单的事情是压缩您的 examples/osrt_python 目录并共享、 这样所有源代码都是一致的

让我先清理文件夹、然后再将其发送给您。 现在有几个文件,我一直在使用测试材料,我认为这将是一个有点过于分散发送它的原样。

如果需要更多信息、请告知我。

此致、

Giann。