[参考译文] TDA4AL-Q1：如何移植具有多个输入的深度学习模型(多个输入：浮点矢量和 uint8图像)

尊敬的 Wen Li：

感谢您的答复。 然而、我认为我最初提出的问题没有得到充分解决、我想进一步澄清：

1. 支持多个输入：
   我的深度学习模型需要 四路输入 ：

   • 两个输入是图像uint8()。
   • 两个输入是浮点矢量float32()。

   期间 TIDL_RT PTQ 处理、我注意到似乎只支持单个输入(图像)。
   您能否澄清一下：

   • 是否有启用方法 多输入 初始引导路径？
   • 如果不直接支持多个输入、如何合并或预处理这些输入以使其与 TI 平台兼容、同时保持模型精度？

2. 数据格式转换：
   您在回复中提到：

   "输入格式是图像数据格式。 对于矢量数据、它将取决于您的模型数据格式。 您可能必须转换接口数据格式。"

   能否就此提供更多详细信息？ 具体来说：

   • 事件 数据格式 是否符合非图像矢量输入的要求？
   • 如果需要将浮点矢量输入(32位)转换为 uint8、那么这应该如何在不损失模型中的关键精度的情况下实现？
   • TIDL 是自动处理该转换、还是需要在推理前对数据进行预处理？

3. 示例或文档：
   是否有任何示例或文档显示如何处理混合输入类型(图像和矢量)的模型？ 这样的例子对解决这一问题非常有帮助。

感谢您在这些具体问题上提供指导。 如果需要更多详细信息、请告知我。

谢谢。此致、
Minwoo

你好、柳明宇、

假设您使用的是 TIDLP-RT 接口

支持多个输入

TIDL 支持多个输入、必须将所有输入连接在一起、并在模型编译期间提供单个文件作为输入

输入格式调整：

您可以调整以下参数以调整数据格式

rawDataInElementType -应根据输入文件中的数据类型正确设置此选项(例如：如果是浮点、则为6)

inElementType -这是您的模型所期望的输入的数据类型。 这可能与您在输入文件中输入的类型不同。 因此、通过正确设置这两个选项、您可以转换输入

例如：设置  rawDataInElementType = 6和 inElementType = 0

输入以浮点形式出现在输入文件中、然后我们将输入转换为 uint8 (TIDL 测试台具有进行此转换的数据转换代码)

您还可以使用选项(addDataConvertToNet)在网络中添加数据垂直层-这种方式在 DSP 中进行数据转换、否则在 ARM 内核上进行数据转换。

多输入模型的 PTQ 流程

不需要处理多输入的具体选项、以上提到的选项应该足够了。

有关 TIDLP-RT 选项的文档位于以下位置： https://software-dl.ti.com/jacinto7/esd/processor-sdk-rtos-jacinto7/08_05_00_11/exports/docs/tidl_j721e_08_05_00_16/ti_dl/docs/user_guide_html/md_tidl_model_import.html 

我们建议您使用 OSRT 界面编译模型-由于这会删除所有手动选项设置、因此在使用 OSRT 时、数据转换选项默认设置为。 下面是我们的 edgeai-tidl-tools 存储库链接  

https://github.com/TexasInstruments/edgeai-tidl-tools/tree/master 

如果您有任何其他问题、请告诉我。

谢谢、

Sai

你好、Minwoo；

TI 专家(Saideepak B.)是否回答了您的问题？ 如果您仍有疑问、请告知我们或提交新 TT。

谢谢。此致

Wen Li