仿真驾驶环境使工程师能够在无数真实和边际场景中安全、高效地训练、测试和验证智能汽车,而且没有物理测试的风险和成本。
这些仿真环境可通过两种方式生成:对智能汽车车队采集的现实世界数据进行神经重建或使用世界基础模型 (WFM)(一种理解物理学与现实世界属性的神经网络),尤其是 WFM 可用于生成提高辅助驾驶仿真效果的合成数据集。
为帮助物理 AI 开发者构建此类模拟环境,NVIDIA 在 GTC 巴黎和 CVPR 大会上公布了 WFM 领域的重大技术突破。这些新技术进一步增强了 NVIDIA Cosmos(一个包含生成式 WFM、高级分词器、安全防护措施和加速数据处理工具的平台)。
通用场景描述 (OpenUSD) 作为物理 AI 应用的统一数据框架和标准,实现了仿真资产在整条开发管线中的无缝集成与互操作性。OpenUSD 所带来的标准化在确保 3D 管线的可扩展性方面起到了关键作用。
通过 NVIDIA Omniverse(一个用于构建基于 OpenUSD 的物理AI应用的应用编程接口、软件开发套件和服务平台),开发者可使用 WFM 和神经重建技术进行世界级规模的仿真。
首批使用 Cosmos 模型的企业包括 Foretellix、Mcity、Oxa、Parallel Domain、Plus AI、Uber 等领先的智能汽车企业。
为可扩展、逼真的仿真建立基础
NVIDIA 最新 WFM —— Cosmos Predict-2 可根据文本、图像、视频等各种模态的输入预测未来世界状态,以此生成高质量的合成数据。该技术对于创建时间一致的逼真场景至关重要,这些场景能够加速智能汽车和机器人的训练与验证。

此外,Cosmos Transfer(一个为现有场景添加天气、光照和地形变化的控制模型)即将向 CARLA(一款领先的开源辅助驾驶模拟器)上的 15 万名开发者开放,大幅扩展智能汽车开发者社区对先进 AI 模拟工具的访问渠道。
开发者可以开始使用 NVIDIA 物理 AI 数据集将合成数据集成到自身管线中。最新版本包含使用 Cosmos 生成的 4 万个片段。
适用于辅助驾驶模拟的 Omniverse Blueprint 在此基础上提供了一个 API 驱动的标准化工作流程,用于构建丰富的数字孪生、回放现实传感器数据和生成闭环测试所需的新 ground-truth 数据。
该蓝图使用了 OpenUSD 的分层堆叠和组合架构,使开发者能够开展异步协作并无损修改场景,通过创建可重复使用的模块化场景变体,高效生成各种天气条件、交通模式和边界情况。
提高未来智能汽车的安全性
为提高辅助驾驶系统的运行安全性,NVIDIA在今年早些时候推出了 NVIDIA Halos —— 一个将 NVIDIA 的汽车硬件、软件安全解决方案与其智能汽车安全领域前沿的 AI 研究相结合的综合安全系统。
新的 Cosmos 模型 —— Cosmos Predict-2、Cosmos Transfer-1 NIM和Cosmos Reason——为 Halos 系统带来了更多安全增强功能,使开发者能够创建多样化、可控且逼真的场景用于训练和验证辅助驾驶系统。
这些模型基于包括驾驶数据在内的海量多模态数据集训练而成,大大增加了模拟的广度和深度,实现了对罕见及安全关键事件的全面覆盖,同时还支持针对特定辅助驾驶任务的定制化后训练。
在 CVPR 2025 上,NVIDIA 凭借在推动端到端辅助驾驶流水线方面的领先优势而被评为辅助驾驶国际挑战赛“端到端辅助驾驶”赛道的优胜者。NVIDIA 在此次挑战赛上利用 OpenUSD 的强大元数据和互操作性,在半反应堆仿真中根据多传感器数据生成驾驶轨迹,实现了领先的安全性与合规性。
如要进一步了解开发者如何使用 CARLA、Cosmos 和 Omniverse 等工具推动辅助驾驶仿真的发展,请观看此直播回放:
在 NVIDIA AI 播客听 NVIDIA 智能汽车研究总监 Marco Pavone 介绍数字孪生和高保真仿真如何提高车辆测试的效果、加快开发速度和降低现实世界风险。
进入 OpenUSD 的世界
想要参加更多现场活动,进一步了解 penUSD?不要错过 2025 年 8 月 10 日至 14 日 SIGGRAPH 2025 上的会议。
访问 OpenUSD 联盟论坛官网和 AOUSD 官网。