推动影响力:NVIDIA 拓展汽车生态系统,将物理 AI 推向实际道路应用

全球领先汽车制造商、移动出行创新企业、供应商和软件供应商利用 NVIDIA 的加速计算,实现从云端到车端的 AI 应用部署。
作者 Jessica Soares

自动驾驶汽车变革已经到来——处于其前沿的 NVIDIA,用超过二十年的汽车计算、软件和安全专业知识,助力从云端到车端的创新。

本周举办的全球 AI 盛会 NVIDIA GTC 上,数十家交通运输业领导者将展示他们利用 NVIDIA 技术获得的最新进展,涵盖乘用车、卡车、商用车等领域。

移动出行领域的领导者正越来越多地采用 NVIDIA 三大核心加速计算平台:用于训练数据中心基于 AI 堆栈的 NVIDIA DGX 系统;用于进行仿真和合成数据生成、运行在 NVIDIA OVX 系统上的 NVIDIA Omniverse 和 NVIDIA Cosmos;以及用于处理实时传感器数据以实现安全、高度自动化和自动驾驶功能的 NVIDIA DRIVE AGX 车载计算平台。

对于数万亿美元规模汽车行业中的制造商和开发者来说,这为设计、制造和部署功能安全的智能出行解决方案带来了新的可能,能够为消费者提供更安全、更智能、更愉快的体验。

乘用车转型

美国最大的汽车制造商通用汽车正与 NVIDIA 合作,利用 NVIDIA 加速计算平台开发构建其新一代汽车、工厂和机器人。通用汽车长期采用用于训练 AI 模型的 NVIDIA GPU 平台。

现在,双方的合作拓展到利用 Cosmos 和 Omniverse 优化工厂规划,以及借助 NVIDIA DRIVE AGX 加速大规模部署新一代汽车。这将帮助通用汽车打造符合其公司愿景、工艺和专业知识的物理 AI 系统,并最终实现比以往更安全、更智能、更便捷的出行方式。

沃尔沃汽车在其下一代电动汽车中将采用 NVIDIA DRIVE AGX 车载计算平台,其子公司 Zenseact 利用 NVIDIA DGX 平台分析和情境化传感器数据,获得新的洞察并训练未来的安全模型,从而提升汽车的整体性能和安全性。

联想与机器人公司 Nuro 合作,为 L4 级自动驾驶汽车创建了一个将安全性、可靠性和便利性放在首位的强大端到端系统。该系统基于 NVIDIA DRIVE AGX 车载计算平台构建。

卡车运输业的进步

NVIDIA 的 AI 技术也为卡车运输业注入了新的活力,能够帮助解决驾驶员短缺、电子商务需求增长和运营成本高昂等紧迫性挑战。NVIDIA DRIVE AGX 能够提供安全、可靠和高效的自动驾驶运营所需的算力,从而大规模改善道路安全和物流情况。

Gatik 正在集成 DRIVE AGX,为其由五十铃汽车公司制造的 6 级和 7 级货运卡车提供所需的车载 AI 处理功能,为泰森食品、Kroger 和 Loblaw 等《财富》500 强客户提供无人驾驶的中距离配送服务。

Uber Freight 还采用 DRIVE AGX 作为其当前和未来运输车队的 AI 计算核心,以持续提高运输效率,节省托运人的成本。

Torc 正在为自动驾驶卡车开发可扩展的物理 AI 计算系统。该系统采用 NVIDIA DRIVE AGX 车载计算平台和 NVIDIA DriveOS 操作系统,结合 Flex 的 Jupiter 平台和制造能力,能够支持 Torc 在 2027 年实现量产并大规模进入市场。

DRIVE AGX 需求不断增长

NVIDIA DRIVE AGX Orin 平台是目前智能车队背后的 AI 大脑,随着基于 NVIDIA DRIVE AGX Thor 集中式车载计算平台打造的量产汽车开始上路行驶,下一波出行浪潮已经到来。

Magna 是全球重要的汽车供应商,致力于满足市场对基于 NVIDIA Blackwell 架构 DRIVE Thor 平台的强劲需求。该平台专为严苛的工作负载处理而设计,包括生成式 AI、视觉语言模型和大语言模型(LLM)等应用场景。Magna 将基于 DRIVE AGX Thor 开发驾驶系统,集成到汽车制造商的汽车路线图中,提供主动安全和舒适功能,以及车内 AI 体验。

仿真和数据:自动驾驶汽车开发的核心

此前,NVIDIA 发布了用于自动驾驶汽车仿真的 Omniverse Blueprint,这是一个用于创建丰富 3D 世界参考工作流 ,可用于自动驾驶汽车训练、测试和验证。该 Blueprint 扩展到包括 NVIDIA Cosmos 世界基础模型,以扩大逼真数据的变化。

Cosmos 在 1 月的 CES 上推出,已在汽车领域得到应用,包括 Plus——该公司将 Cosmos 物理 AI 模型嵌入到其 SuperDrive 技术中,加速 L4 级自动驾驶卡车的开发。

Foretellix 正在扩大 Blueprint 的集成范围,使用 Cosmos Transfer 世界基础模型将天气和光照等条件加入其传感器仿真场景中,以进一步实现场景多样性。Mcity 正将 Blueprint 集成到其自动驾驶汽车测试设施的数字孪生中,用于实现基于物理学的摄像头、激光雷达、雷达和超声传感器数据的建模。

开源自动驾驶仿真平台 CARLA 已集成该 Blueprint,提供高保真的传感器仿真。全球系统集成 Capgemini 将率先在其自动驾驶开发平台中使用 CARLA 的 Omniverse 集成功能,以增强传感器仿真。

NVIDIA 利用 Nexar 大量的高质量极端案例数据训练和调优 NVIDIA Cosmos 的仿真功能。Nexar 则利用 Cosmos、神经基础设施模型和 NVIDIA DGX Cloud 平台快速推动其 AI 开发,精进自动驾驶汽车训练、高清地图绘制和预测性建模。

借助 NVIDIA AI Enterprise 增强车载体验

移动出行领域的领导者正在整合 DRIVE AGX 上运行的 NVIDIA AI Enterprise 软件平台,利用生成式代理式 AI 增强车内体验。

在 GTC 上,赛轮思 AI 将展示 Cerence xUI,这是一款基于 LLM 的全新 AI 助手平台,将提升下一代车载代理式 AI 的用户体验。Cerence xUI 混合动力平台已经过 NVIDIA DRIVE AGX Orin 的优化,可在云端运行,也可在车端运行。

作为 Cerence xUI 的基础,CaLLM 系列大语言模型基于开源基础模型,并使用赛轮思 AI 的汽车数据集进行微调。赛轮思 AI 利用 NVIDIA AI Enterprise,并借助 NVIDIA TensorRT-LLM 库和 NVIDIA NeMo 等技术增强其推理性能。他们对 CaLLM 进行了优化,使其作为代理式智能中枢,在边缘端和云端为驾驶员提供更丰富的智能服务。

SoundHound 还将演示其下一代车载语音助手,该助手通过 NVIDIA DRIVE AGX 在边缘端的生成式 AI,将基于云端的 LLM 智能服务直接引入车端,增强了车载体验。

自动驾驶汽车的复杂性和 NVIDIA 的安全优先解决方案

安全是在道路上大规模部署高度自动化和自动驾驶汽车的基石。但制造自动驾驶汽车是目前最复杂的计算挑战之一。它需要巨大的算力、极高的精确度,以及对安全的坚定承诺。

自动驾驶汽车和高度自动化的汽车有望为最需要的人群提供出行便利,从而减少事故拯救生命。为帮助实现这一承诺,NVIDIA 开发了 NVIDIA Halos,这是一款全栈综合安全系统,整合车辆架构、 AI 模型、芯片、软件、工具和服务,确保自动驾驶汽车从云端到车端的安全开发。

NVIDIA 在 GTC 上开启了首届自动驾驶汽车安全日,就汽车安全框架和实施进行深入探讨。

此外,NVIDIA 已于 3 月 20 日举办了汽车开发者日系列会议,介绍端到端自动驾驶汽车开发等领域的最新进展。

自动驾驶汽车开发者的全新工具

NVIDIA 还发布了面向汽车行业的全新 NVIDIA NIM 微服务,旨在加速从云端到车端的端到端堆栈开发与部署。采用 Motional 的 nuScenes 数据集车载应用新 NIM 微服务包括:

  • BEVFormer,一款基于 transformer 的先进模型,可将多帧摄像头数据融合到统一的鸟瞰图中进行显示,以实现 3D 感知。
  • SparseDrive,一款端到端自动驾驶模型,可同时进行动作预测和规划,输出安全规划轨迹。

NVIDIA 提供多种车企应用的模型,包括 NV-CLIP——一款多模态 transformer 模型,可从图像和文本生成嵌入;Cosmos Nemotron——一款视觉语言模型,可查询并总结图像和视频,实现多模态理解和 AI 赋能感知等等。

如需详细了解 NVIDIA 最新的汽车行业新闻,欢迎观看 NVIDIA GTC 主题演讲,并注册参加 NVIDIA 和行业领导者的会议。