[参考译文] SK-AM68：如何并行运行多个模型

您好；

AM68能够支持多通道输入；推理时间/性能将取决于您的模型或模型的配置和存储器速度。  

一旦缓冲了帧数据、就会立即执行推理。 我认为存储器带宽很关键。 但我会与我的团队核实如何有效地减少您的运行时间。 1080p 分辨率下的帧速率要求是什么？

谢谢。此致

Wen Li   

目前我使用的是3280*2464分辨率的15fps。

以下描述在1920 * 1080分辨率（15fps 下进行测试、  添加 runModel 前后打印测试的推理时间、

例如、如果我们使用单个输入运行4个模型、则每个模型的推理时间为20ms。 运行多个模型(4个模型)时、实际测试后的总推理时间约为80ms。

单输入多模型测试实际上是连续执行的。 我想知道硬件(AM68)是否支持多模型并行执行。 如果硬件支持、软件是否已经实现了它？

您好：

硬件不支持多个同时并行运行的模型。 通过使用抢占功能在加速器内进行上下文切换、运行多个模型即可。 据我所知、默认情况下启用抢占。

• 我的语言在这里是有意识的。 可以加载多个模型并尝试同时使用加速器、但一次只能运行一个模型。  
• 默认行为是模型按照提交其推论的顺序运行

模型上下文切换可在整个模型级别或模型的图层之间进行。 您看到的是前者。 后者(层级)需要设置"max_pre_empt_delay"。 该值以毫秒为单位、实际上是一个模型在运行到被抢占之前的持续时间上限

• https://github.com/TexasInstruments/edgeai-tidl-tools/blob/a082497a359f078e89dd11e3ae0745b9490bbb56/examples/osrt_python/common_utils.py#L104 
  • 有关此功能的文档为精简文档
• 这通常也与"优先级"选项配对。 优先级的服务与 FreeRTOS 相同
•  通常、启用抢占会降低整体性能、但可以更快地为优先级较高的模型提供服务   
  • 上下文切换永远不是免费的！

BR、
Reese