Omniverse正在加快自动驾驶汽车部署的步伐。
NVIDIA创始人兼首席执行官黄仁勋先生在GTC大会开幕主题演讲中宣布,新一代自动驾驶汽车仿真软件NVIDIA DRIVE Sim将基于NVIDIA Omniverse构建。
DRIVE Sim通过使用NVIDIA的核心技术建立起一个强大的云计算平台,能够实现高保真仿真。该平台可以生成用于训练车辆感知系统的数据集,并提供一个虚拟试验环境来测试车辆的决策流程和其在极端情况下的表现。该平台能以软件在环或硬件在环配置来连接自动驾驶软件栈,以进行完整的驾驶体验测试。
NVIDIA正在使用仿真引擎取代游戏引擎作为自动驾驶汽车仿真的基础,基于Omniverse的DRIVE Sim是NVIDIA朝着这个方向所迈出的重要一步。
为自动驾驶开发特别架构的仿真需要显著的工程投入,但也带来了许多新的功能和机遇。
了解Omniverse
创建自动驾驶汽车专用仿真平台并非易事。虽然游戏引擎性能出色并且具备许多强大的功能,但它们的设计用途始终是开发游戏而不是进行科学、物理级精确的、可重复的仿真。
因此,NVIDIA在设计新一代DRIVE Sim时需要采用一种新的方法。这款新仿真器软件必须具备严格且可复现的计时、在多GPU和多服务器节点上易于扩展、物理级的传感器仿真、可充当一个可模块化和可扩展的平台。
NVIDIA Omniverse集NVIDIA几乎所有核心技术之大成。DRIVE Sim充分运用NVIDIA在图形、高性能计算、AI和硬件设计方面的专业知识,并将这些技术能力结合,创造出一个最适合自动驾驶汽车仿真的技术平台。
具体而言,Omniverse提供了一个原生支持多GPU计算的平台。该平台集成了基于NVIDIA RTX技术的物理级光线追踪渲染器。
NVIDIA Omniverse还包含“Kit”这一可扩展和可延伸的仿真框架。该框架可以用于构建交互式3D应用和微服务。在过去的一年中,NVIDIA使用Kit实现了DRIVE Sim核心仿真引擎,该引擎支持可复现的仿真和对所有流程的精确控制。
计时和可重复性
只有能够场景复现并严格计时的自动驾驶仿真软件才能成为有效的开发工具。
例如NVIDIA Omniverse,它可以调度和管理所有传感器以及环境渲染功能,在确保可复现的同时不降低精度。它能在各个GPU和节点上执行此操作,从而使DRIVE Sim能够处理丰富的环境细节和配备了复杂的传感器套件的测试车辆。另外,它能够以慢于或快于实时的速度来管理此类工作负载,同时产生可复现的结果。
多传感器:Omniverse可以扩展至多个GPU来实现DRIVE Sim实时渲染功能,并为复杂的传感器套件提供可复现的结果。
该平台不仅可以实现灵活性和精度,而且还具有可扩展性,因此开发人员能够以最高的保真度大规模运行带有各种传感器套件的车辆。
高物理精度传感器
除了精确重构现实世界的行驶场景外,仿真环境还必须以与物理世界中摄像头、雷达、激光雷达获取数据完全相同的方式渲染车载传感器数据。
借助NVIDIA RTX技术,DRIVE Sim能够对物理级传感器进行实时渲染。光线追踪可以通过模拟可见和不可见波形的物理特性来提供逼真的效果。NVIDIA Omniverse RTX渲染器与NVIDIA RTX GPU组合后,能够实现实时帧率的光线追踪。
隧道:隧道中的车辆场景使用的是间接照明。这个示例场景通常难以进行实时、精确的渲染,但基于Omniverse RTX渲染器的DRIVE Sim能够实现。
实时光线仿真功能对自动驾驶汽车的仿真大有裨益。它能重现几乎不可能通过栅格化来捕获的照明环境,例如,油罐车上的光线反射、昏暗隧道内的阴影等。
物理级传感器数据的生成,对于构建用于训练AI感知网络的数据集、生成虚拟传感器的真值数据尤其重要。DRIVE Sim包含用于创建高级数据集的工具,包括强大的Python脚本界面和域随机化工具。
在DNN训练过程中使用这一合成数据,可节省实际数据采集和打标所产生的成本,加速自动驾驶部署流程的迭代。
真值数据:DRIVE Sim提供使用仿真数据生成真值数据的工具,从而能够快速生成用于训练自动驾驶感知(DNN)的复杂数据集。这帮助开发人员提高了迭代速度并降低了成本。
模块化和延展性
作为一个模块化、开放且可延展的平台,DRIVE Sim能够在仿真测试中为开发人员带来最大的灵活性和高效性。
由Omniverse支持的DRIVE Sim允许通过运行仿真软件的不同部分来支持各种用例。一组工程师可以进行只针对感知栈的仿真验证。而另一组工程师则可以使用带有感知真值结果的场景来专注规控栈仿真验证。
这一模块化设计使开发人员能够专注于手头任务,同时确保整个团队在仿真环境中使用相同的工具、场景、模型和素材来获得一致的结果,从而大幅缩短开发时间。
通过NVIDIA Omniverse Kit SDK,DRIVE Sim使开发人员可以构建自定义模型、3D内容和验证工具,或与其他仿真工具进行交互。用户可以创建自己的插件,也可以从DRIVE Sim生态系统合作伙伴提供的丰富车辆、传感器和交通插件库中进行选择。基于这一灵活性,用户可以针对其独特用例自定义DRIVE Sim,并根据他们的开发和验证需求量身定制仿真体验。
今年夏天,NVIDIA将通过早期使用计划向开发人员提供由Omniverse支持的DRIVE Sim。您可以进一步了解DRIVE Sim并加快安全、高效交通工具的开发步伐。