[参考译文] PROCESSOR-SDK-J784S4：TIDL 将 L3 存储器大小显示为 8KB

尊敬的 Sampanna：

我已经将其分配给了我们的存储器专家。

此致、

Chris

您好@Chris Tsongas

感谢您的回答。
 对此有任何更新？

尊敬的 Sampanna：

我已经离开了,刚刚回来。  她又开始指导了。

Chris

尊敬的 Sampanna：

抱歉、回复延迟、创建此主题时是 OOO、在所有电子邮件转储中都错过了此内容

sysMems[TIDL_SYSMEM_L3_scratch] ->  base： 682ddef4、 大小： 8KB、 偏移：0KB  
是模型所需的 L3 存储器、这是在编译期间根据输入/输出和权重缓冲区大小确定的。
对于张量较大的模型、此数字将更大

tivxMemStats 提供可用的 L3 存储器总数

希望这澄清了您的问题

此致
Rahul T r  

尊敬的 Rahul：

感谢您的更新... 我的问题略有不同... 我已根据要求对其进行了修订...

1) 我们正在做的事情=>

1.1) 对 DDR 存储器中的所有输入和输出实施自定义运算符。
1.2) 若要获得优化性能、中间输出结果必须存储在 L3 存储器中。  

2) 内存的挑战=>

2.1) 中间输出大小为~2.8MB、但自定义运算符中可用的 L3 存储器仅为 8KB。

以下是观察结果：

在我们的自定义运算符中、`s`sTIDL_customABCProcess ()、在为不同的存储器类型打印` ysMems[memory_type].base`、Δ V ysMems[memory_type].size`和 Δ V ysMems[memory_type]`s.offset 时、观察到以下结果：

sysMems[TIDL_SYSMEM_L1_scratch]-> base：64e00000、大小：16KB、偏移：0KB
sysMems[TIDL_SYSMEM_L2_scratch]->基础：64800000、大小：446KB、偏移：0KB
sysMems[TIDL_SYSMEM_L3_scratch]-> base：682ddef4、大小：8KB、偏移：0KB

问题

1) 为什么即使所有输入和输出都在 DDR 中、L3 暂存存储器地址没有从 0x68000000 地址开始 ？
(L1 和 L2 提供正确的起始地址、如 2.1 所示、即 64e00000 和 64800000)

2) 为什么即使所有输入和输出都采用 DDR 模式、L3 暂存大小也为 8KB ？
(L1 和 L2 提供正确的可用大小、如 2.1 所示、即 16KB 和 446KB)

3) 如何强制编译器考虑为我们的自定义运算符提供较大的 L3 scraach 内存 ？

对此有任何更新？ Rahul Ravikumar , Chris Tsongas 

我非常重视您在这方面的想法和经验！

感谢您的帮助！

尊敬的 Sampanna：

您能共享您的器件配置数据吗

TI_dl/test/testvecs/config/import/device_config.cfg

此致
Rahul T r

我们将使用 SDKv10_01_00_04 中提供的默认 device_config.cfg

请在下面找到随附的 device_config.cfg 文件。

此致
Sampanna T

# Size of L2 SRAM Memory in KB which can be used by TIDL, Recommended value is
# 448KB considering that 64KB of L2 shall be configured as cache. TIDL test bench
# configures L2 cache as 64 KB, so any value higher than 448 KB would require
# user to change the L2 cache setting in TIDL test bench
L2MEMSIZE_KB           = 448
# Size of L3 (MSMC) SRAM Memory in KB which can be used by TIDL
MSMCSIZE_KB            = 2944
#ID for a Device, TDA4VMID = 0, TIDL_TDA4AEP = 1, TIDL_TDA4AHP = 1,  TIDL_TDA4AM = 2, TIDL_TDA4AMPlus = 3
DEVICE_NAME            = 1
ENABLE_PERSIT_WT_ALLOC = 1
DDRFREQ_MHZ            = 4266

尊敬的 Sampanna：

配置看起来正常

以下代码是设置 l3memsize 的位置

c7x-mma-tidl/ti_dl/algo/tidl_alg.c src +688（行号）

您能打印吗  

嗨、 Rahul Ravikumar 

tidl_alg.c 中的第 688 行 src 似乎没有设置 perfInfoOut->simConfig.sizeL3MemKB 的代码、如图 (a) 中所示

图 (A)

相反 、我们只找到了使用 pefInfoOut->simConfig.sizeL3MemKB 的两个位置。
 如下图 (b) 和图 (c) 所示、两个位置都为空
（为了防止通过空指针访问成员，改为打印 0）

这是 添加打印件的正确位置、还是 缺少一些内容？



图 (b)


图 (c)

此致、
Sampanna T

尊敬的 Sampanna：

您使用什么接口来运行模型

ONNXRT 还是 tidlrt？

您使用的 flowCtrl 是什么？
可以共享您的 insume_config 文件吗

此致
Rahul T r

尊敬的 Sampanna：

您是在运行主机仿真还是在目标上运行？  
您能否同时共享您的导入配置

此致
Rahul T r

你好 Rahul Ravikumar ,
我们正在目标上运行...

我已经共享了下面的导入配置文件

modelType              = 2
numParamBits           = 16
numFeatureBits         = 16
quantizationStyle      = 2
inFileFormat           = 1
inElementType          = 3 3
rawDataInElementType   = 3 3
outElementType         = 3

inTensorScale          = 0.09345684796012375 0.10053092073389386

inputNetFile           = "../../test/testvecs/abc/model.onnx"
outputNetFile          = "../../test/testvecs/abc/artifacts_int16/tidl_net_abc.bin"
outputParamsFile       = "../../test/testvecs/abc/artifacts_int16/tidl_io_abc_"

inDataNorm             = 0
inWidth                = 32 32
inHeight               = 32 32
inNumChannels          = 3 3

addDataConvertToNet    = 0
enableCustomLayers     = 1
customLayer            = Abc
inDataNamesList        = "input1" "input2"
outDataNamesList       = "output"
inData                 = "../../test/testvecs/abc/inputs/input_int16.bin"

perfSimTool            = "../../utils/perfsim/ti_cnnperfsim.out"
graphVizTool           = "../../utils/tidlModelGraphviz/out/tidl_graphVisualiser.out"
modelDumpTool          = "../../utils/tidlModelDump/out/tidl_dump.out"
perfSimConfig          = "../../test/testvecs/config/import/device_config.cfg"

debugTraceLevel        = 1
executeNetworkCompiler = 1
postProcType           = 0

您是否还可以共享完整的导入日志
您在导入过程中是否看到任何错误/警告

此致
Rahul T r

e2e.ti.com/.../abc_5F00_custom_5F00_op.zip

你好 Rahul Ravikumar  ,

 在导入过程中、我们未观察到任何警告/错误。

在随附的 zip 文件 ( abc_custom_op.zip )...
   下面介绍了 zip 文件的内容、可以使用补丁、模型、配置等重现该问题。 提供的文件中提供的示例。
此外、还会  在 zip 文件中共享 TIDL 模型导入日志、TIDL 推理日志。

注意：修补程序是从基础生成的 ti-processor-sdk-rtos-j784s4-evm-10_01_00_04 与 c7x-mma-tidl 目录相关的代码

.
├── abc
│   ├── artifacts_int16
│   ├── import_cfg_int16.txt # config for TIDL model import
│   ├── infer_cfg_int16.txt  # config for TIDL inference on the hardware
│   ├── inputs
│   │   └── input_int16.bin  # sample input for inference
│   ├── model.onnx           # onnx model
│   └── outputs
├── abc_custom_op.patch        # abc custom op implemenation patch 
├── EVM_execution_log.txt      # TIDL inference log on J784S4 evm
└── TIDL_model_import_log.txt  # TIDL model import log 

你好 Rahul Ravikumar ,

我们尝试了建议的相同补丁... 仍然 显示的 L3 大小相同

Address: Inp1=c01d1000 Inp2=c01d3000 Out=c01d5000
sysMems[TIDL_SYSMEM_L3_SCRATCH].base=682ddf68 sysMems[TIDL_SYSMEM_L3_SCRATCH].size=8344 sysMems[TIDL_SYSMEM_L3_SCRATCH].offset=0

你好、 Sampanna

您是否使用补丁再次运行导入步骤？
如果不是、请再次运行导入并尝试

如果您仍然遇到问题、请共享导入日志

此致
Rahul T r

嗨、 Rahul Ravikumar 

对此有任何更新？

嗨、 Rahul Ravikumar 

我们再次使用提供的补丁（在基础 ti-processor-sdk-rtos-j784s4-evm-10_01_00_04 上应用了该补丁）进行了测试、但仍将在 TIDL 自定义运算符内将~8KB 作为 L3 可用存储器。 该行为在主机仿真中也是相同的。

我们在下面有一些疑问；
1.您能否分享有关如何验证此补丁程序是否解决 L3 内存问题的更多详细信息？ 也许你能分享这个函数的名称或某种东西,你正在打印这个..?
2.正如我们之前所知,我们正在尝试获取 L3 存储器的详细信息 TIDL 定制运算符内部 （我们分享了一个 TIDL 自定义运算符示例、作为在  ti-processor-sdk-rtos-j784s4-evm-10_01_00_04 -> abc_custom_op.zip 上重现问题的参考。）但是、您共享的结果屏幕截图“ algHandle “、这不适用于 TIDL 自定义操作员。 因此、如果您尚未执行该操作、您可以检查 TIDL 自定义运算符内的 L3 存储器详细信息。？

我们还在上检查了此问题 ti-processor-sdk-rtos-j784s4-evm-11_00_00_06 在主机仿真中、L3 大小仍打印为 8472（即 sysMems[TIDL_SYSMEM_L3_Scratch].size=8472）。

此致、
Rahul

嗨、 Rahul Ravikumar 

Sampanna 今天正在休假。  我正在与 Sampanna 一起进行这方面的工作。

现在是否可以在 IST 下午 16.00 点连接...？ 如果这不起作用、请建议其他时间。

此致、
Rahul

谢谢 Rahul、这对我们很有帮助。

你好 Rahul Ravikumar ,

根据上面建议的更改、我们可以在主机仿真中的自定义运算符内获得更多的 L3 存储器 (>>8KB)。

正如您在 L3 使用的目的中所列出的那样、我们计划使用 L3 的很大一部分来在我们的自定义运算符中存储中间张量。

根据上面提供的建议,我们有一些疑问 :

1) 假设我们有一个大型网络、其中包含一些自定义运营商和多个 TIDL 支持的运营商。 现在、如果我们将 L3 的很大一部分（在 perfsim.h 中）用于自定义运算符、 TIDL 支持的运算符是否会出现性能下降（因为 L3 保留的一小部分）？

2) 是否有办法只在我们的自定义运算符执行期间获得 L3 的很大一部分、而不会降低 TIDL 支持的运算符的性能 ？

你好 Rahul Ravikumar ,

还有一点需要补充、当我们针对上述 2 种场景在硬件上进行测试时、我们观察到了以下情况

1) device_config.cfg => MSMCSIZE_KB =2900KB  和 perfsim.h =>  L3MEM_Scratch_BUF_SIZEKB = 100U
=>在主机仿真和硬件中功能正常。 （根据建议的示例）

2) device_config.cfg => MSMCSIZE_KB =150KB  和 perfsim.h =>  L3MEM_Scratch_BUF_SIZEKB  = 2850U
=>主机仿真中正常工作... 但在硬件上崩溃。

那么、 L3MEM_Scratch_BUF_SIZEKB 对于硬件是否有任何限制？
对这些参数的值有任何限制？

嗨、 Rahul Ravikumar 

对此有任何更新？

尊敬的 Sampanna：

因此没有任何限制
您能分享崩溃日志吗
请将 debugTraceLevel 启用为 2
确保运行 vision_apps_init.sh 脚本
添加 0 伏或 0 伏

此致
Rahul T r

你好 Rahul Ravikumar ,

对此有任何更新？

此致、
Sampanna T

你好 Sampanna T 

无法从日志中获取太多信息
需要使用 CCS 来识别故障点

是否与您之前提供的型号相同？

此致
Rahul T r

是的、Rahul、我们目前正在使用相同的型号。

此致、
Sampanna T

好的、我将使用 CCS 进行调试、让您知道您可以设置的暂存大小限制
同时、您可以尝试增加 MSMC 尺寸

此致
Rahul T r