Other Parts Discussed in Thread: EDGE-AI-STUDIO
我有一个 用于测试目的的小 PyTorch 模型、我将其初始化、然后使用 NVIDIA 模型 OPT 框架对 PTQ INT8 进行量化。
我有一个 python 脚本 am67_test.txt 、它会加载模型以进行编译、但在优化步骤中失败。 根据解析输出: Log.txt、所有节点都在 C7x 上运行、而不是在 CPU 上运行
我无法附加.onnx 文件、但我很乐意提供它。
This thread has been locked.
If you have a related question, please click the "Ask a related question" button in the top right corner. The newly created question will be automatically linked to this question.
Other Parts Discussed in Thread: EDGE-AI-STUDIO
我有一个 用于测试目的的小 PyTorch 模型、我将其初始化、然后使用 NVIDIA 模型 OPT 框架对 PTQ INT8 进行量化。
我有一个 python 脚本 am67_test.txt 、它会加载模型以进行编译、但在优化步骤中失败。 根据解析输出: Log.txt、所有节点都在 C7x 上运行、而不是在 CPU 上运行
我无法附加.onnx 文件、但我很乐意提供它。
您好:
感谢您包含日志和脚本。 这很有帮助、尽管默认日志记录设置不清楚导致错误的原因。
您能否使用传递给 TIDLCompilationProvider 的选项中提供的编译 settin debug_level= 2 重新运行脚本?
请注意、如果您使用的是预量化模型、则可能需要为此目的提供一些设置 请首先参考量化文档[1]
BR、
Reese
[1] https://github.com/TexasInstruments/edgeai-tidl-tools/blob/master/docs/tidl_fsg_quantization.md
很抱歉这么晚再次回复、论坛最近加载时遇到问题、我无法回复。
我发现问题在于我的 TIDL_OPTIONS 适用于 TIDLCompilationProvider。
optional_options 不起作用、但我展开到以下内容中:
tidl_options = {
"model_type": "OD",
"platform": "am67a",
"tidl_tools_path": "/home/root/tools/AM67A/tidl_tools",
"artifacts_folder": "/home/root/artifacts_folder",
"advanced_options:prequantized_model": 1,
}
现在、它接受 prequestantized_model 选项。