NVIDIA 采取行动加速自动驾驶汽车的开发，成为本周于美国西雅图举办的国际计算机视觉与模式识别会议（CVPR）会议的自动驾驶国际挑战赛的获胜者。
NVIDIA Research 继去年获得 3D Occupancy 预测冠军后，今年又凭借 Hydra-MDP 模型在大规模端到端驾驶类别中击败了全球 400 多个参赛者，荣登榜首。
这一里程碑显示了生成式 AI 在自动驾驶汽车（AV）开发过程中构建物理 AI 部署的重要性。该技术还可应用于工业环境、医疗、机器人等其他领域。
NVIDIA 的获奖作品还荣获 CVPR 创新奖，该奖项是对 NVIDIA 改进“任意端到端驾驶模型使用所学习到的开环代理指标”这一方法的认可。
此外，NVIDIA 还发布了 NVIDIA Omniverse Cloud Sensor RTX，这是一套可实现物理精确传感器仿真的微服务，可加速各类完全自主机器的开发。
端到端驾驶如何运作
比起短跑，自动驾驶汽车开发竞赛更像是一场永无止境的铁人三项赛，涉及到三个截然不同但又至关重要的部分：AI 训练、仿真和自动驾驶。每个部分都需要有各自的加速计算平台，并且专为这三个步骤打造的全栈系统，需要组合成一个能够保证开发周期不间断并且性能与安全性也不断提高的强大“铁三角”。
为了实现这一目标，首先要在 NVIDIA DGX 等 AI 超级计算机上对模型进行训练。然后，通过使用 NVIDIA Omniverse 平台并在 NVIDIA OVX 系统上对模型进行测试和验证。最后在 NVIDIA DRIVE AGX 平台上通过该模型实时处理传感器数据。
建立一个能够在复杂物理世界中安全导航的自动驾驶系统极具挑战性。该系统需要全面感知和了解周围环境，然后在几分之一秒内做出正确且安全的决策。因此，系统必须具备类似人类的态势感知能力，才能处理潜在的危险或罕见情况。
传统的 AV 软件开发一直基于模块化方法，包括用于物体检测和追踪、轨迹预测以及路径规划和控制的独立组件。
端到端自动驾驶系统采用一个统一模型接收传感器输入并生成车辆轨迹，从而简化了这一过程，有助于避免工作流变得过于复杂并提供了一种更加全面、以数据为依据的方法来处理现实世界中的各种情况。
观看 Hydra-MDP 模型视频，该模型是 CVPR 端到端自动驾驶大型挑战赛的获胜者：
引领国际挑战赛
今年的 CVPR 挑战赛要求参赛者利用 nuPlan 数据集开发出能够根据传感器数据生成驾驶轨迹的端到端自动驾驶模型。
所提交的模型将在开源的 NAVSIM 模拟器中进行测试，它的任务是在数千种从未体验过的场景中进行导航。比赛根据安全性、乘客舒适度以及与原始记录轨迹的偏差等指标对模型性能进行评分。
胜出的 NVIDIA Research 端到端模型能够获取摄像头和激光雷达数据以及车辆的轨迹历史记录，在传感器输入后的五秒钟内就能生成安全的最佳车辆路径。
NVIDIA 研究人员赢得此次比赛所使用的工作流可以通过 NVIDIA Omniverse 在高保真仿真环境中进行复制，这意味着自动驾驶仿真开发人员能够在现实世界测试自动驾驶汽车之前，先在物理精确的环境中创建工作流。NVIDIA Omniverse Cloud Sensor RTX 微服务将于今年晚些时候推出。请注册以获得抢先体验。
此外，NVIDIA 提交的作品在 CVPR 自动驾驶大型挑战赛语言驾驶类别中排名第二。NVIDIA 的模型打通了视觉语言模型和自动驾驶系统，通过整合大语言模型的强大功能帮助做出决策并实现可通用、可解释的驾驶行为。
了解更多 CVPR 上的信息
今年的 CVPR 收到了 50 多篇 NVIDIA 论文，主题涵盖汽车、医疗、机器人等。其中十多篇论文将涉及 NVIDIA 汽车相关研究，包括：
- Hydra-MDP：利用多目标 Hydra-Distillation 进行端到端多模态规划
- 在轨迹预测中生成并利用在线地图的不确定性
- CVPR 最佳论文奖入围者
- 利用大语言模型策略的自适应性实现随处驾驶
- 对于开环端到端自动驾驶来说，自我状态是所需的全部吗？
- 使用 2D 边界框监督改进远距离 3D 物体检测
- 使用合成神经场实现动态激光雷达再模拟
- BEVNeXt：恢复适用于 3D 物体检测的密集 BEV 框架
- PARA-Drive：适用于实时自动驾驶的并行化架构
NVIDIA AI 研究副总裁 Sanja Fidler 将在自动驾驶研讨会上发表关于视觉语言模型的演讲。