This thread has been locked.

If you have a related question, please click the "Ask a related question" button in the top right corner. The newly created question will be automatically linked to this question.

[参考译文] TDA4AL-Q1:app_multi_cam 编解码器上出现视频显示滞后

Guru**** 2416110 points


请注意,本文内容源自机器翻译,可能存在语法或其它翻译错误,仅供参考。如需获取准确内容,请参阅链接中的英语原文或自行翻译。

https://e2e.ti.com/support/processors-group/processors/f/processors-forum/1521892/tda4al-q1-video-display-lag-on-app_multi_cam-codec

器件型号:TDA4AL-Q1

工具/软件:

您好、TI 专家、

我们使用此应用通过 DP 端口运行视频编码、解码和在显示器上显示。

但我们遇到了一个问题、如果我们选择  en_encode = 1、en_decode = 1 的模式、则显示性能仅为 13FPS。

在我们的传感器输入中、我们可以通过 IMX728 输出 3840 x 2160、40FPS 的图像大小。

以下是 Vision 应用程序 https://software-dl.ti.com/jacinto7/esd/processor-sdk-rtos-j721s2/10_01_00_04/exports/docs/vision_apps/docs/user_guide/group_apps_basic_demos_app_multi_cam_codec.html 的说明

捕获+编码+解码+显示(默认):en_encode = 1、en_decode = 1

  1. 从 IMX390 摄像头捕获视频
  2. 使用硬件 H264 编码器对视频进行编码
  3. 使用硬件 H264 解码器解码视频流
  4. 显示马赛克后的输出

我还会转储一些性能和节点信息、请帮助我们检查导致此问题的原因。 谢谢。

e2e.ti.com/.../vx_5F00_app_5F00_multi_5F00_cam_5F00_capture_5F00_1_5F00_img.txt

e2e.ti.com/.../vx_5F00_app_5F00_multi_5F00_cam_5F00_capture_5F00_2_5F00_pipe_5F00_img.txt

e2e.ti.com/.../vx_5F00_app_5F00_multi_5F00_cam_5F00_capture_5F00_3_5F00_data_5F00_ref_5F00_q_5F00_img.txt

e2e.ti.com/.../vx_5F00_app_5F00_multi_5F00_cam_5F00_capture_5F00_4_5F00_pipe0_5F00_img.txt

e2e.ti.com/.../vx_5F00_app_5F00_multi_5F00_cam_5F00_display_5F00_1_5F00_img.txt

e2e.ti.com/.../vx_5F00_app_5F00_multi_5F00_cam_5F00_display_5F00_2_5F00_pipe_5F00_img.txt

e2e.ti.com/.../vx_5F00_app_5F00_multi_5F00_cam_5F00_display_5F00_3_5F00_data_5F00_ref_5F00_q_5F00_img.txt

e2e.ti.com/.../vx_5F00_app_5F00_multi_5F00_cam_5F00_display_5F00_4_5F00_pipe0_5F00_img.txt

# Datasheet {#group_apps_basic_demos_app_multi_cam_codec_datasheet}

# Summary of CPU load

CPU      | TOTAL LOAD
----------|--------------
mpu1_0    |  13.35 
mcu2_0    |   5. 0 
 c7x_1    |   0. 0 
 c7x_2    |   0. 0 

# HWA performance statistics

HWA      | LOAD
----------|--------------
  VISS    |  16.23 % ( 112 MP/s )
  LDC     |  18.13 % ( 111 MP/s )
  MSC0    |  23.91 % ( 224 MP/s )

# DDR performance statistics


# Detailed CPU performance/memory statistics


##CPU: mcu2_0

###Task Table

TASK          | TASK LOAD
--------------|-------
     FREERTOS_TA   |   0. 0 %
          IPC_RX   |   0. 7 %
      REMOTE_SRV   |   0. 5 %
       LOAD_TEST   |   0. 0 %
      TIVX_CPU_0   |   0.68 %
       TIVX_V1NF   |   0. 0 %
      TIVX_V1LDC   |   0.45 %
     TIVX_V1MSC1   |   0.81 %
     TIVX_V1MSC2   |   0. 0 %
     TIVX_V1VISS   |   1.24 %
      TIVX_CAPT1   |   0.51 %
      TIVX_CAPT2   |   0. 0 %
      TIVX_CAPT3   |   0. 0 %
      TIVX_CAPT4   |   0. 0 %
      TIVX_CAPT5   |   0. 0 %
      TIVX_CAPT6   |   0. 0 %
      TIVX_CAPT7   |   0. 0 %
      TIVX_CAPT8   |   0. 0 %
      TIVX_DISP1   |   0.30 %
      TIVX_DISP2   |   0. 0 %
      TIVX_CSITX   |   0. 0 %
     TIVX_CSITX2   |   0. 0 %
     TIVX_DPM2M1   |   0. 0 %
     TIVX_DPM2M2   |   0. 0 %

##CPU: mcu2_0

###Task Table

TASK          | TASK LOAD
--------------|-------
     TIVX_DPM2M3   |   0. 0 %
     TIVX_DPM2M4   |   0. 0 %
     IPC_TEST_RX   |   0. 0 %
     IPC_TEST_TX   |   0. 0 %
     IPC_TEST_TX   |   0. 0 %
     IPC_TEST_TX   |   0. 0 %
     IPC_TEST_TX   |   0. 0 %

###CPU Heap Table

HEAP   | Size  | Free | Unused
--------|-------|------|---------
   DDR_LOCAL_MEM |   14680064 B |   14199040 B |  96 %
          L3_MEM |     524288 B |     507392 B |  96 %
 DDR_CACHE_WT_ME |    2097152 B |    1852672 B |  88 %

##CPU: c7x_1

###Task Table

TASK          | TASK LOAD
--------------|-------
     FREERTOS_TA   |   0. 0 %
          IPC_RX   |   0. 0 %
      REMOTE_SRV   |   0. 0 %
       LOAD_TEST   |   0. 0 %
     TIVX_C71_P1   |   0. 0 %
     TIVX_C71_P2   |   0. 0 %
     TIVX_C71_P3   |   0. 0 %
     TIVX_C71_P4   |   0. 0 %
     TIVX_C71_P5   |   0. 0 %
     TIVX_C71_P6   |   0. 0 %
     TIVX_C71_P7   |   0. 0 %
     TIVX_C71_P8   |   0. 0 %
     IPC_TEST_RX   |   0. 0 %
     IPC_TEST_TX   |   0. 0 %
     IPC_TEST_TX   |   0. 0 %
     IPC_TEST_TX   |   0. 0 %
     IPC_TEST_TX   |   0. 0 %

###CPU Heap Table

HEAP   | Size  | Free | Unused
--------|-------|------|---------
   DDR_LOCAL_MEM |  268435456 B |  268435200 B |  99 %
          L3_MEM |    3964928 B |    3964928 B | 100 %
          L2_MEM |     458752 B |     458752 B | 100 %
          L1_MEM |      16384 B |      16384 B | 100 %
 DDR_SCRATCH_MEM |  385875968 B |  385875968 B | 100 %

##CPU: c7x_2

###Task Table

TASK          | TASK LOAD
--------------|-------
     FREERTOS_TA   |   0. 0 %
          IPC_RX   |   0. 0 %
      REMOTE_SRV   |   0. 0 %
       LOAD_TEST   |   0. 0 %
        TIVX_CPU   |   0. 0 %
     IPC_TEST_RX   |   0. 0 %
     IPC_TEST_TX   |   0. 0 %
     IPC_TEST_TX   |   0. 0 %
     IPC_TEST_TX   |   0. 0 %
     IPC_TEST_TX   |   0. 0 %

###CPU Heap Table

HEAP   | Size  | Free | Unused
--------|-------|------|---------
   DDR_LOCAL_MEM |   16777216 B |   16772608 B |  99 %
          L2_MEM |     458752 B |     458752 B | 100 %
          L1_MEM |      16384 B |      16384 B | 100 %
 DDR_SCRATCH_MEM |   67108864 B |   67108864 B | 100 %

# Performance point statistics


##TOTAL Performance

PERF      | avg (usecs)  | min/max (usecs)  | number of executions
----------|----------|----------|----------
           TOTAL |  76702 |  67784 /  85763 |        133

##TOTAL FPS

PERF      | Frames per sec (FPS)
----------|----------
           TOTAL |   13. 3


# GRAPH: Detailed Statistics


##Node Execution Table

Total Nodes      | Total executions
----------|--------------
  5       |    206


##Per Node Breakdown

NODE      | avg (usecs)      | min/max (usecs)      | Total Executions
----------|------------------|----------------------|------------
             capture_node (  CAPTURE1)    |   2200    |     55 / 171472   |        206
                viss_node (VPAC_VISS1)    |  12430    |  12262 /  12571   |        206
                aewb_node (    MCU2-0)    |    388    |     40 /   4527   |        206
                 ldc_node ( VPAC_LDC1)    |  13519    |  12843 /  13749   |        206
           ldc_write_node (     MPU-0)    |     12    |      8 /     76   |        206

# GRAPH: Detailed Statistics


##Node Execution Table

Total Nodes      | Total executions
----------|--------------
  2       |    200


##Per Node Breakdown

NODE      | avg (usecs)      | min/max (usecs)      | Total Executions
----------|------------------|----------------------|------------
          img_mosaic_node ( VPAC_MSC1)    |  17882    |  17758 /  26321   |        200
              DisplayNode (  DISPLAY1)    |   8662    |     65 /  16867   |        200

  • 请注意,本文内容源自机器翻译,可能存在语法或其它翻译错误,仅供参考。如需获取准确内容,请参阅链接中的英语原文或自行翻译。

    您好、TI 专家、

    它有任何更新吗? 我们想要找到的是任何优化空间。

    谢谢、

    YL

  • 请注意,本文内容源自机器翻译,可能存在语法或其它翻译错误,仅供参考。如需获取准确内容,请参阅链接中的英语原文或自行翻译。

    尊敬的 YL:

    tda4ahp 的结果相同、单摄像头 1080p 的编码和解码速度均为 13fps。

    我们对在 multi_cam_codec 中同时运行编码和解码有限制、能否使用仅编码选项。

    此致、
    Gokul

  • 请注意,本文内容源自机器翻译,可能存在语法或其它翻译错误,仅供参考。如需获取准确内容,请参阅链接中的英语原文或自行翻译。

    尊敬的 Gokul:

    感谢您的更新。

    它是否有任何权变措施解决方案、请随时在此处更新。

    谢谢、

    YL

  • 请注意,本文内容源自机器翻译,可能存在语法或其它翻译错误,仅供参考。如需获取准确内容,请参阅链接中的英语原文或自行翻译。

    尊敬的 YL:

    这没有解决方法、因为 gstreamer 实现会从 openvx 层到 gstreamer 层进行缓冲区复制。 除非我们更改了消除 gstreamer 的整个演示、否则无法对其进行优化。

    此致、
    Gokul

  • 请注意,本文内容源自机器翻译,可能存在语法或其它翻译错误,仅供参考。如需获取准确内容,请参阅链接中的英语原文或自行翻译。

    尊敬的 Gokul:

    未来、您是否对 gstreamer 中存储器副本的性能问题有解决方案?

    谢谢、

    YL

  • 请注意,本文内容源自机器翻译,可能存在语法或其它翻译错误,仅供参考。如需获取准确内容,请参阅链接中的英语原文或自行翻译。

    尊敬的 YL:

    到目前为止、gstreamer 缓冲区副本没有解决方案、

    我们还有一些使用 v4l2 驱动程序的实现、

    https://e2e.ti.com/support/processors-group/processors/f/processors-forum/1420881/faq-tda4vl-q1-decode-h264-and-h265-data-using-v4l2-and-display-the-same-using-rtos-driver

    请参阅此常见问题解答。 我不确定使用此组件的性能、我们不会在 SDK 中提供此支持。

    此致、
    Gokul