[参考译文] SK-TDA4VM：使用 Arducam 立体声设置实现可视化定位

您好、Aditya：

1、这3个文件是映射的输出。 请注意、3D 激光雷达数据和图像用于映射、而 Calra 模拟器用于演示。

2.不确定我是否理解这个问题。 DKAZE 网络输出2D 关键点以及描述符。 每个关键点的3D 位置均来自相应的3D 激光雷达点。 应校准摄像头和3D 激光雷达。  

3.我不认为 DKAZE 训练使用卡拉模拟器工作真正的仓库. DKAZE 网络和演示主要是为概念验证而开发的。 由于我们尚未在现实世界中对其进行测试、因此我们不建议将其用于实际用例。

4.我想推荐使用公共网络,例如 Superpoint。 应针对 C7x/MMA 编译经过训练的网络。 请参阅 GitHub - TexasInstruments/edgeai-tidl-tools：Edgeai TIDL 工具和示例-此存储库包含由 TI 的边缘 AI 解决方案提供的针对深度学习运行时(DLRT)开发的工具和示例。

此致、

德庆

您好！

感谢您的答复。 您能再说明几个问题吗？

1.您能否同时确认它是 一个三维描述符(从点云)还是二维描述符匹配(从图像上的 DKAZE ),或者换句话说,     是否使用来自3D 稀疏地图相应3D 关键点的点云的3D 关键点描述符与来自 DKAZE 网络的图像的2D 关键点描述符之间的匹配来进行定位？  

2.您能解释一下与3D 稀疏地图文件相关的几个方面,特别是3D 关键点二进制文件,3D 描述符二进制文件? 据我了解、似乎是从激光雷达 获得了点云、并 使用了单独的网络从激光雷达数据获取3D 关键点及其对应的64维3D 描述符。 您能否告诉我、此3D 稀疏地图文件使用的是深度学习网络(如果是、是哪个模型)还是传统的 CV 关键点和描述符算法？  

尊敬的 Aditya：

让我总结一下此守护程序中的映射和本地化过程。 请注意、在使用的传感器和算法方面、两个过程大不相同。

1.映射

• 传感器：IMU (用于自主车辆的姿态估算)、3D 激光雷达、摄像头。  
• 应校准这些传感器。 校准后、我们可以在激光雷达中为图像中的特征点找到相应的3D 点。 (但这并非总是正确的、因为3D 激光雷达稀少。  图像中可能存在特征点、我们无法找到精确匹配的3D 点。  此类点不会添加到映射中、也可以使用内插技术)
• DKAZE 网络将提供特征点及其描述符  
  
  • 可以使用其他基于 DL 网络或 CV 的方法来代替 DKAZE
• 因此、地图中将有一组点。 每个点都有以下信息：X、Y、Z (3D 坐标)和64-D 描述符   

2.本地化

• 传感器：IMU、摄像头
  • 未使用3D 激光雷达  
  • 在本地化模式下、IMU 是可选的。 但它应该有助于提高定位精度。
• DKAZE 网络将提供特征点 及其描述符。 每个点都有 x、y (图像坐标)和64-D 描述符
  • 映射和定位中应使用相同的特征检测方法。 否则、对于每个点、我们都无法从地图中找到对应的点。
• 本地化
  • 对于在图像中检测到的特征点、我们通过比较64-D 描述符在映射中找到对应的点。  
  • 使用匹配的功能点定位摄像头(即自主车辆)
    • 我们有多对(x、y)-(X、Y、Z)
    • 我们可以通过解决 PnP (视角-n-Point)进行本地化  

此致、

德庆