TDA4VM: 12个问题

您好，

一部分答复如下：

?? ? 说：

3. 自定义模型通过 TIDL tools使用PC模拟器运行是否能得到和上板运行完全一致的结果？（QAT后）

TIDL 运行是可重复的。 每次运行时，预期都会给出相同的结果。 如果没有的话，那么就是个bug。

?? ? 说：

4. 关于使用TIDL tools对模型进行QAT量化的问题，模型训练fp32的时候是否也需要先用xnn.layers包装？

不。

?? ? 说：

5. QAT量化参考设计中使用的转化为lite的函数(xnn.model_surgery.create_lite_model)主要作用是修改卷积层为xnn.layers的形式吗？

它会更改actiation functions，删除 squeeze和excitation 等。您可以通过修改以下dictionary来自定义此行为： https://github.com/TexasInstruments/edgeai-torchvision/blob/master/torchvision/edgeailite/xnn/model_surgery/__init__.py#L113

?? ? 说：

6. 量化模型过程中，如果一个block中包含多个conv+bn+relu结构，这其中的每个conv,bn,relu都已经单独命名(self.conv1,self.conv2....)，然后又有个stage,它使用了多个block,这些block还需要再写成self.block1,self.block2这种形式吗？

名称没关系。 此外，QAT 还可以通过该模型进行智能跟踪，以了解在该模型之后调用哪个模块。 

?? ? 说：

7. QAT量化之后在板端模型输出的张量必须是int8的吗？是否可以再乘scale之类的操作变成fp32/fp16的输出?

您是在问 TIDL 导入的模型？ 这个取决于模型。 对于典型的分类模型，是 INT8。 但对于检测模型，检测输出通常有浮点值。 

?? ? 说：

8. 自定义模型不支持的OP怎么进行QAT？

您能重新描述下这个问题吗？

?? ? 说：

模型推理的中间结果怎么打印显示？

如果从 edgeeai-tidl-tools 使用 onnxruntime，则检查 onnxruntime 的功能来写出中间 tensors。

如果您使用的是 RTOS SDK 中的 TIDM-RT，请参考以下信息（编写介质间值）：

https://software-dl.ti.com/jacinto7/esd/processor-sdk-rtos-jacinto7/08_04_00_06/exports/docs/tidl_j721e_08_04_00_16/ti_dl/docs/user_guide_html/md_tidl_fsg_steps_to_debug_mismatch.html

其余的问题我们正在请求其他工程师的帮助，详情请见英文论坛的答复。