工具与软件：
问：
"我发现 TI 的 Model Zoo 拥有神经网络、这些神经网络已使用 C7x AI 加速器在 AM6xA 处理器[AM62A、AM67A、AM68A、AM68PA、AM69A 或 TDA4x SoC]上经过验证并具有基准测试。"
"我需要使用我收集的数据集为自己的应用训练这些模型。 该怎么做？"
答：
以上是开发者想要将 TI 的预优化网络用于其定制应用时遇到的相当常见的问题。 建议使用其中一些模型、因为它们已针对运行时延迟和精度进行了分析和优化。 TI 提供的模型已就通用数据集(例如 COCO 或 Imagenet1k)进行了预训练、但可能需要重新培训才能应用于自定义用例。
对于某些网络、我们对原始网络架构进行了修改、对 AM6xA 和 TDA4x SoC 上使用的硬件加速器 C7xMMA 更加友好。 这些修改通常是为了提高我们的定点加速器的精度或运行时效率。 例如、将 SiLU 激活函数替换为 Relu 在定点上要快得多。 我们通过在基准或模型 zoo 存储库中的模型名称中包含"lite"或"TI lite"来表示这些修改后的架构。
在最近的操作员支持下、某些原始模型可能会按原样得到支持、而以前并不支持这些原始模型。 请参阅我们的受支持运算符/层列表(以及任何相关限制)以了解最新信息、并请注意、该文档是关于我们 SDK 的版本指定。
在后续回复中、我将对 Model Zoo 中与再培训和重复使用相关的模型进行描述和分类。
注释的链接和存储库：
请注意、为了您的利益、我在文本中嵌入了大量链接。 这些链接中的大多数链接都可以访问 edgeai-tensorlab 或 edgeai-tidl-tools 存储库。
TL；DR (过长、未读取)：TI 有一组 AI 模型已在我们的 SOC 上进行验证和基准测试。 这些器件可以重新训练、但并非所有架构都有 TI 提供的完整示例和编程工具供您自己进行再培训。 在本常见问题解答中、我将介绍负责设计此流程的可用资源和必要知识。 一些架构经过修改并标记为"TI Lite"、以表示架构与原始版本不同。 其他引脚由 TI 按原样制定。 TI-Lite 模型需要一些 TI 硬执行以便在训练过程中类似地进行的优化；未修改的架构对训练的 TI 支持有限(但 使用 TIDL 工具编译时支持 e2e)
对于已被 TI 修改为"lite"或"TI lite"的模型、执行了对网络架构的一些更改以优化速度和精度。 在本例中、我们获取了模型的上游版本、调整了加速器的架构、然后将其重新上传到我们的 Model Zoo 中。
我们对这些模型类型再培训的支持有限、开发人员应利用开源代码和支持工具来针对其用例训练这些经过修改的架构。 以上信息介绍了重现这些 TI Lite 模型的一般流程和资源。
开发人员可通过2种方法来重现此类 TI-Lite 模型：
你也可以跳过预先训练的重量,从零开始,但这将是更具挑战性的训练。 从头开始进行训练需要更大的数据集和许多 epoch。
对于大多数 TI-lite 模型、我们提供了 Pytorch PTH 文件格式的可训练权重、以及导出的 ONNX 文件。 对于 tensorflow 模型、不支持重新训练这些架构、因此必须坚持使用此架构的开发人员将需要分析上游版本和 TI 版本、描绘差异并相应地修改 Tensorflow 中。
在 modelzoo 中、模型按任务类型、数据集和训练工具进行分组。 如果培训工具包括"edgeai"、则该模型可能是在 edgeai-tensorlab 中进行训练(工具名称可能缩写、例如 tv=torchvision)。 顶层目录结构包含流行的上游训练工具(如毫米波检测、毫米波和 yolox)叉、它们也依赖于 edgeai-torchvision。
modelzoo 的这些 edgeai-子目录中的模型通常包含：
请注意、其中一些文件具有。 链路扩展。 这些文件为单行文本、且带有指向主文件的链接。 这减小了 git 存储库的尺寸。 大多数链接还将包括 SDK 版本、表明此模型已在该版本中进行测试和验证。
为了重新训练模型、您需要构建模型架构的代码和包含起始权重的 PTH 文件。
模型完成训练后、必须将其导出为 ONNX 格式。 如果模型是使用检测头进行物体或关键点检测、还需要根据TIDL 元架构导出描述该头的 PROTOTXT 文件。
还建议寻求训练期间执行的任何预处理信息–在推理之前、应在输入上进行类似的预处理。 除非有意对其进行更改、否则它可能与 modelzoo 使用的相同(请参阅模型的配置。 YAML)
