DRIVE Software 8.0 将环境感知与 AR 技术应用于安全自动驾驶

作者 Shri Sundaram

DRIVE Software 8.0 集增强感知、可视化和地图功能于一身,使驾驶员可以轻松看到前方道路,实现安全自动驾驶。

在CES上,NVIDIA推出了最新版 DRIVE Software 扩展套件,该套件提供由 AI 提供动力支持的高级自动驾驶和车内用户体验功能。DRIVE Software 8.0 具备许多最新推出的 DRIVE AutoPilot 系统的标志性功能。在接下来的几周,该套件将对开发人员开放。

NVIDIA DRIVE Software 是一个开放式软件套件,由 DRIVE AGX 平台的计算能力提供动力支持。套件内包括 DRIVE OS 操作系统、DriveWorks 软件框架、一个用于为自动驾驶技术开发软件应用的完整 SDK 以及适用于自动驾驶的 DRIVE AV 和 DRIVE IX 软件应用程序。

DRIVE Software 8.0 的强大功能

随着新套件的推出,开发人员现在可以将高精度可视化技术应用于车载传感器、驾驶员监测以及更为先进的环境感知。

通过车内可视化技术,司机和乘客可以实时查看自动驾驶汽车的工作方式。他们将看到汽车所捕捉的画面,了解汽车如何对物体进行分类和如何规划下一步行程,以及这些决定的实时变化过程。此外,通过使用增强现实技术,自动驾驶汽车软件开发人员可以查看和追踪数据,且这些数据均采用的格式非常便于开发人员进行查看。

新套件也包括软件的升级版感知功能,加强了物体检测能力,并提供了汽车四周的 360 度全景,使得 DRIVE Software 8.0 成为一个极为先进的开放式自动驾驶开发软件平台。

监测路况与驾驶员

现在,DRIVE IX 可将传感器数据转化成一种直观显示,因此制造商不仅可以实时追踪车辆的输入信息、感知和路径规划,而且能够查看记录数据。在汽车行驶期间,开发人员可以通过车内显示屏查看这些数据。可视化分为五个阶段:检测、感知、绘制地图、规划和驾驶。

在检测阶段,显示屏将显示汽车用于物体检测的原始摄像头传感器数据。在接下来的感知阶段,将使用边界框以及 50 米内的物体标记来展示车辆的物体检测过程。这一阶段也展示了地图绘制阶段,显示屏将突出显示出汽车感知到的车道线,随后的规划阶段将展示车辆的预期路径。最后,驾驶阶段会用图形表示出车辆为了沿着预期路径行驶而需要完成的转向、加速和制动操作。在汽车行驶期间,开发人员可实时在五个视图之间进行切换。

此流程同样适用于驾驶员监测。深度神经网络可以使用面向驾驶员的摄像头,监测驾驶员是否昏昏欲睡或心不在焉。借助这种最新型可视化技术,驾驶员和乘客均可实时查看这一过程。

在驾驶可视化平台中,驾驶员监测显示屏可以在最初的检测阶段显示原始摄像头数据,从而在检测阶段添加了面部和眼睛识别功能。在追踪阶段,可视化平台可详细展示驾驶员头部的角度以及其视线的方向。此外,监测阶段会显示对驾驶员是否昏昏欲睡(显示一个咖啡杯图标)或心不在焉(角落的定时器会监测到驾驶员的注意力没有集中在道路上)的分析。在这两个案例中,当算法检测到出现这些危险情况时,视频会以红色色调显示。

增强感知和地图绘制

除了尖端的可视化技术以外,DRIVE Software 8.0 也依赖于过往感知和 DRIVE AV 中的其他功能,利用新型深度神经网络提供更好的自动驾驶开发体验。

LightNet 便是其中的一种网络,它能够识别固体灯和转向灯,并且可以辨别出绿灯、黄灯和红灯。SighNet 也是一种新型深度神经网络,它能够识别一系列的交通标志,包括速度限制、单行道、 “禁止驶入” 、让路和停车标志等。

在新版本中,DRIVE AV 也配备了 DRIVE MapStream 功能,允许开发人员将车辆传感器的数据上传至其个人数字地图中。当自动驾驶汽车在路上进行精准定位和预测施工区或封闭车道等障碍时,这些地图起到至关重要的作用。

为了推动安全的汽车级自动驾驶技术尽快投入实际应用,DRIVE Software 8.0 将于 1 月中旬对开发人员开放,助力汽车制造商朝着量产自动驾驶汽车的目标更进一步。