工具/软件:
您好、
我正在尝试找出为什么我的模型在 TDA 平台上的性能不好。 我尝试集成基于变压器的模型、发现 int16 性能存在一个大问题。
下面是推理日志,它也有最终特征图的比较:
e2e.ti.com/.../3755.inference.log
您可以看到、只有 38%的特征向量存在误差裕度+–10%的值。
为了调试问题、我尝试使用 layer_trace_inspector.py (https://github.com/TexasInstruments/edgeai-tidl-tools/blob/95ba2c7ec62bbedeb637d7a5c0273fcede21cac9/scripts/tidl_debug_scripts/layer_trace_inspector.py)、但不知道从哪里获取 ONNX 跟踪。 我已经成功地仅为我的模型找到了 TIDL 布线。
不过、我还是尝试将 TIDL 迹线可视化、发现_float.bin 和.y 值之间有一些缩放(我假设是由于量化)。 请告诉我如何比较它们。 特别是、我使用下一种量化配置:
“Tensor_bits":“:16、“Accurity_Level":“:9、
'advanced_options:add_data_convert_ops ':1、'advanced_options:量化比例_类型':4、'advanced_options:high_resolution_optimization':0、'advanced_options:activation_cliping':1、'advanced_options:weight_cliping_ cliping':1、 “advanced_options:bias_calibration“:1、“advanced_options:per_channel_timization“:1.
谢谢、
罗马