模型 DVGT 为自动驾驶重建密集 3D 地图
Driving Visual Geometry Transformer (DVGT) 代表了自动驾驶车辆感知领域的重大进步。该模型直接从相机图像序列创建密集 3D 地图，无需精确校准相机或使用昂贵的外部传感器如 LiDAR。其纯视觉方法简化了感知链 🚗。
用于推断几何的注意力机制
DVGT 的 Transformer 架构通过三个协同工作的专用注意力机制处理视觉信息。这种策略使其能够适应不同的相机配置和动态场景，产生精确的度量几何。
DVGT 的三个注意力支柱：- 帧内注意力：分析并捕捉单个图像内部的细节和关系。
- 帧间注意力（空间）：相关联从略微不同角度拍摄的图像之间的等效点，这对于三角测量和计算深度至关重要。
- 帧间注意力（时间）：跟踪视频序列中点的运动，从而巩固重建并为 3D 地图带来时间一致性。
空间和时间注意力的结合是模型实时理解世界 3D 结构的关键，而无需依赖专用硬件。
超越既定基准的结果
在实验评估中，DVGT 在多个公共驾驶场景数据集上超越了之前的 3D 重建模型。其在各种条件下的鲁棒性证明了仅使用视觉的感知系统的潜力。
模型展示的优势：- 无需精确外部相机校准即可生成密集且一致的 3D 地图。
- 灵活处理不同类型的相机和配置。
- 产生度量几何，这对于自动驾驶车辆安全导航至关重要。
迈向实用自动感知的一步
DVGT精确高效重建 3D 环境的能力，使技术更接近更易获取和可靠的自动驾驶系统。这种方法预示着一个未来，在那里车辆以深度和理解感知其环境，有时可能在复杂任务中与人类感知相媲美 🧠。