高置信度感知:AI 如何改善自动驾驶汽车的雷达感知能力雷达 DNN 可区分移动物体和不同类型的静止物体。

by Neda Cvijetic

编者注:这是我们 NVIDIA DRIVE Labs 系列最新发布的文章,它从工程学的角度探讨了自动驾驶汽车所面临的个别挑战,以及 NVIDIA DRIVE 如何应对这些挑战。单击此处,阅读所有与自动驾驶相关的文章。

自动驾驶汽车不仅需要探测周围的移动物体,还必须能够分辨静止物体。

乍一看,基于摄像头的感知似乎足以做出这些判断。但是,光线不足、恶劣天气或物体被严重遮挡的情况会影响摄像头的视野。因此,雷达等各种冗余传感器也必须能够执行这一任务。但仅利用传统处理技术的雷达传感器可能还不足以完成此项任务。

在这段 DRIVE Labs 视频中,NVIDIA展示了 AI 如何解决传统雷达信号处理在区分移动物体和静止物体方面的不足,从而提高自动驾驶汽车的感知能力。

传统的雷达处理技术可以根据周围环境中物体反射的雷达信号,分析信号的反射强度和密度。如果反射的信号群足够强烈和密集,传统雷达处理技术会将此确认为某种大型物体。如果这个信号集群恰好随着时间的推移而移动,那么这个物体可能是一辆汽车。

虽然这种方法可以有效地推断出移动车辆的存在,但可能并不适用于判断周围的静止车辆。在这种情况下,物体会产生密集的、但不移动的反射信号群。传统的雷达处理技术会认为这个物体可能是一根栏杆、一辆抛锚的汽车、一座高速公路立交桥或其他物体。这种方法通常无法分辨具体是哪种物体。

雷达 DNN 介绍

为了克服这种方法的局限性,我们可以采用深度神经网络 (DNN)形式的 AI 技术。

具体来说,NVIDIA训练 DNN 来探测移动物体和静止物体,并使用雷达传感器的数据准确区分不同类型的静止障碍物。

在训练 DNN 时,首先需要解决雷达数据稀疏问题。由于雷达的反射信号可能非常稀疏,我们无法仅凭雷达数据直观地识别和标记车辆。

Figure 1. Example of propagating bounding box labels for cars from the lidar data domain into the radar data domain.

图 1.从激光雷达数据域向雷达数据域传播的汽车边界盒标签示例。

不过,激光雷达可以使用激光脉冲创建周围物体的 3D 图像。因此,将相应激光雷达数据集中的边界盒标签传播至雷达数据,便可创建 DNN 的真值数据,具体如图 1 所示。如此一来,数据标记员根据激光雷达数据直观识别和标记汽车的能力可以被有效转移至雷达领域。

此外,通过这个过程,雷达 DNN 不仅学习如何探测汽车,还学习探测其 3D 形状、尺寸和方向,这是传统雷达处理方法难以做到的。

借助这些额外信息,雷达 DNN 能够区分不同类型的障碍物(即使它们处于静止状态),提高真实探测的置信度并减少误报。

雷达 DNN 所产生的 3D 感知结果的置信度越高,AV 预测、规划和控制软件就可以作出更明智的驾驶决策,特别是在具有挑战性的场景中。现如今,使用雷达精准估测形状和方向、探测静止车辆以及高速公路立交桥下的车辆等经典难题已迎刃而解,而且错误率大大降低。

雷达 DNN 输出与经典雷达处理技术顺利整合。这两个组件共同构成了雷达障碍物感知软件堆栈的基础。

此堆栈旨在为基于摄像头的障碍物感知提供全面冗余,实现仅限雷达的规划和控制输入,并与摄像头或激光雷达感知软件融合。

通过这种全面的雷达感知能力,自动驾驶汽车可以精准感知其周围环境。

如欲进一步了解我们所构建的软件功能,请查看 DRIVE Labs 系列的其他内容。