This thread has been locked.

If you have a related question, please click the "Ask a related question" button in the top right corner. The newly created question will be automatically linked to this question.

[参考译文] AM62A7:AM62Ax 上的人脸检测:推荐的模型/框架(BlazeFace / MTCNN 支持)

Guru**** 2425330 points


请注意,本文内容源自机器翻译,可能存在语法或其它翻译错误,仅供参考。如需获取准确内容,请参阅链接中的英语原文或自行翻译。

https://e2e.ti.com/support/processors-group/processors/f/processors-forum/1538246/am62a7-face-detection-on-am62ax-recommended-models-frameworks-blazeface-mtcnn-support

器件型号:AM62A7


工具/软件:

TI 团队大家好、

我们目前正在开发一种使用 AM62Ax SoC 实现人脸识别的系统。 我们的核心特性之一是实时性 人脸检测 、我们希望了解 TI 推荐或正式支持哪些模型或框架来完成此任务。

具体来说:

  1. TI 是否在 Vision Apps 或 TIDL 工具链中提供任何预集成的人脸检测模型或框架?

  2. 是否有官方或社区对类似模型的支持 BlazeFace (MediaPipe) 或 MTCNN

  3. 是否有运行这些模型的已知示例或文档 ONNX 或 TFLite 如何使用 TIDL 像素吗?

  4. 是否有任何针对 AM62Ax 平台进行优化或验证的人脸检测模型?

我们的目标是部署一个能够与 AM62Ax 的 CPU/NPU/DSP 架构高效配合的轻量级模型、最好是使用现有的 TIDL + GStreamer 流水线。

我们非常希望提供任何指导、链接或示例。

提前感谢!

  • 请注意,本文内容源自机器翻译,可能存在语法或其它翻译错误,仅供参考。如需获取准确内容,请参阅链接中的英语原文或自行翻译。

    尊敬的 Jardel:  

    我们很高兴为您提供帮助。  在 edgeai-modelzoo 中、我们有几个物体检测模型 (yolox-s-lite 和 yolox-tiny-lite)、它们使用 widerface 数据集进行人脸检测训练。 这些模型的工件在以下网址提供: https://github.com/TexasInstruments/edgeai-tensorlab/tree/r10.0/edgeai-modelzoo/modelartifacts/AM62A/8bits。 有关这两个模型和其他模型的性能数据、请参阅 Edge AI Studio 中的模型选择工具: https://dev.ti.com/edgeaistudio/。 

    视频会议演示中使用了 yolox-s-lite。 该演示结合了视觉和音频处理。 对于您的用例、如果不需要音频部分、您可能需要将其忽略。 可通过 https://dev.ti.com/tirex/explore/node?node=A__AEz622OMkJJnmUkmRkekmQ__EDGE-AI-DEMOS__PIzCUcf__LATEST 和 https://github.com/TexasInstruments-Sandbox/edgeai-demo-audio-visual 访问该演示。  

    如果需要更多详细信息、请告知我们。  

    此致、

    Qutaiba

  • 请注意,本文内容源自机器翻译,可能存在语法或其它翻译错误,仅供参考。如需获取准确内容,请参阅链接中的英语原文或自行翻译。

    您好、Qutaiba、
    你过得怎么样?

    非常感谢您提供的有关人脸检测的有用信息。 在 WiderFace 上训练的 YOLOX-Tiny-Lite 和 YOLOX-S-Lite 模型似乎是我们用例的理想选择。

    在下一步中、我们将研究 面部识别零件 —特别是 嵌入式提取器 、用于与预先注册的驱动程序配置文件进行比较(类似于 Dlib 的 Face_Recognition 库、该库输出 128D 嵌入并以.pkl 格式存储它们)。

    我们想知道:

    1. 有任何问题 推荐的型号 的 AM62Ax 或 TIDL 工具链支持 面嵌入提取 、如 ArcFace MobileFaceNet 或其他轻量级网络?

    2. 在 AM62Ax 上运行这些类型的模型时、是否有任何示例、参考或性能基准?

    3. 是否可以使用 Edge AI Studio 通过 ONNX 或 TFLite 格式部署这些模型?

    目标是将人脸检测模型(例如 YOLOX-Tiny-Lite)与高效的人脸嵌入模型相结合、以实现车内识别、同时最大限度地缩短延迟并提高准确性。

    非常感谢任何指导或建议。

    此致、
    Jardel

  • 请注意,本文内容源自机器翻译,可能存在语法或其它翻译错误,仅供参考。如需获取准确内容,请参阅链接中的英语原文或自行翻译。

    尊敬的 Jardel:

    我做得不错。 感谢您的提问。 “那你呢?

    目前、我们没有移植人脸识别模型来在 AI 加速器上工作。 我们的 AI 研究团队正在考虑这一点。 话虽如此、有第三方示例可以在 ARM 内核(A53、而不是硬件 AI 加速器)上运行、您可以在线尝试以下模型: https://website-git-automatic-ffid-plumerai.vercel.app/automatic-face-identification-live?max_framerate=12。  

    您可以在行业中看到的一些模型:   用于人脸嵌入的 FaceNet512。 该模型开始可能更容易、并且似乎大多数层都由我们的 TIDL 提供支持。 您还可以查看  使用 Tensorflow 构建的 CNN 面部地标。

    在高层次评估时、这些模型似乎可以使用我们的 edgeai-tidl 工具 进行移植:github.com/.../edgeai-tidl-tools。 有关如何开始使用此工具的示例、请访问: https://github.com/TexasInstruments/edgeai-tidl-tools/tree/master/examples/osrt_python。 要评估编译/移植特定模型以在我们的硬件 AI 加速器上工作的可行性、您可以参阅以下位置的受支持层列表: https://github.com/TexasInstruments/edgeai-tidl-tools/blob/master/docs/supported_ops_rts_versions.md。  通过在 ARM 内核上实现不受支持的层、仍可以移植列表中未包含层的模型。  

    如果需要 TIDL 工具提供任何帮助、请告知我们。  

    此致、

    Qutaiba