生成式 AI 开发者利用 NVIDIA 技术变革车内体验

未来的汽车将不仅仅是交通运输方式，而是会成为智能伙伴，将技术和舒适性无缝结合，以提升驾驶体验，并且从内到外都将以安全为本。

NVIDIA GTC 于本周在圣何塞会议中心举行，这次大会将重点关注 NVIDIA 与合作伙伴正在开展的开创性工作：将生成式 AI、大语言模型 (LLM) 和视觉语言模型 (VLM) 的变革力量引入移动出行领域。

NVIDIA 展示了如何通过深度学习和 Transformer 模型提供的强大感知、理解和生成能力，来构建车载助手，从而提升驾驶员的行车安全、人身安全和舒适度。

探索理论与实践

LLM 是生成式 AI 的一种形式，在很大程度上代表了一类被称为 Transformer 模型的深度学习架构，这类学习架构是一种擅长学习上下文和含义的神经网络。

视觉语言模型是生成式 AI 的另一类延伸，可提供图像处理和语言理解功能。传统或多模态 LLM 主要处理和生成基于文本的数据，而 VLM 则不然，它可通过图像或视频分析和生成文本。

检索增强型生成技术 (RAG) 允许制造商从特定数据库或网络获取知识，从而为驾驶员提供帮助。

NVIDIA Avatar Cloud Engine (ACE) 和多模态语言模型综合使用这些技术，与 NVIDIA DRIVE 平台协同工作，从而让汽车制造商开发自己的智能车载助手。

例如，借助 Avatar 配置器，设计师可以为其车型打造独特的、符合品牌调性的角色形象，并配有定制的声音和情感特性。这些 AI 动画虚拟形象可以自然地完成对话，提供实时的帮助、建议和个性化互动。

此外，AI 增强的周边环境可视化利用 360 度摄像头重建来增强车辆安全性，而智能助手则可以获取当地驾驶法规等外部信息来为决策制定提供信息。

个性化至关重要，在这方面，AI 助手可以学习驾驶员和乘客的习惯，并调整其行为以满足乘员的需求。

汽车领域的生成式 AI 在 GTC 大会上大显身手

多个参与 GTC 大会的 NVIDIA 合作伙伴还展示了他们使用从边缘到云端的 NVIDIA 技术所开发的最新生成式 AI 成果：

赛轮思的 CaLLM 是一个专注于汽车领域的 LLM，其在 NVIDIA DRIVE 上运行，是赛轮思新一代车载计算平台的基础。该平台于去年年底一经推出，就被视为车内交互的未来，它配备汽车及移动出行专用助手，可提供集成的座舱体验。赛轮思正在与 NVIDIA 工程团队协作，以进一步集成 CaLLM 和 NVIDIA AI Foundation 模型。通过共同努力，赛轮思正在充分利用 NVIDIA DGX 云这一开发平台，同时应用“护栏”来增强性能，并利用 NVIDIA AI Enterprise 来优化推理。今年，NVIDIA 和赛轮思将继续与多家汽车 OEM 携手合作，共同开拓这一解决方案。
Wayve 正在帮助开创自主化具身 AI （Embodied AI）新时代，他们的新一代 AV2.0 采用大型具身 AI 基础模型处理数据。该模型通过学习使用 AI 端到端技术来驱动自监督，实现从输入感知结果到输出驾驶行动的全过程。这家英国初创公司已经推出了 GAIA-1，这是一种由 NVIDIA 赋能的生成式世界模型，适用于自动驾驶汽车开发；该模型可与 LINGO-1 配合使用，LINGO-1 是一款闭环驾驶评论工具，使用自然语言来增强 AI 驾驶模型的学习能力和可解释性。
理想汽车在去年 6 月推出了多模态认知模型 Mind GPT。该模型基于开源库 NVIDIA TensorRT-LLM，是理想汽车 AI 助手“理想同学”的基础，具有场景理解、生成、知识保留和推理功能。理想汽车目前正在开发 DriveVLM 来增强自动驾驶能力，使系统能够理解复杂的场景，特别是对传统自动驾驶来说具有挑战性的场景，例如非结构化道路、罕见异常物体以及意外的交通事件。这一先进模型在 NVIDIA GPU 上进行训练，并利用 TensorRT-LLM 和 NVIDIA Triton 推理服务器在数据中心生成数据。借助NVIDIA DRIVE 和 TensorRT-LLM 的推理优化，DriveVLM 可在嵌入式系统上高效运行。
蔚来已推出 NOMI GPT，提供 NOMI 百科问答、座舱氛围大师、用车助手等智能体验。基于 LLM 提供的功能以及由 NVIDIA AI 堆栈支持的高效计算平台，NOMI GPT 不仅具有基础的语音识别和指令执行功能，还可以借助深度学习来理解和处理车内人员更为复杂的语句和指令。
吉利正在与 NVIDIA 共同致力于提供智能座舱体验，以及边云加速协同。吉利正在应用生成式 AI 和 LLM 技术，使用自然语言处理、对话系统和预测分析来提供智能导航和语音助手，进而提供更智能、个性化和安全的驾驶体验。在将 LLM 部署到生产环境中时，吉利使用 NVIDIA TensorRT-LLM 来实现更高效的推理。对于更复杂的任务或需要大规模数据支持的场景，吉利将在云端对大模型进行部署。
Waabi 正在构建用于自动驾驶的 AI，并将利用 NVIDIA DRIVE Thor 提供的生成式 AI 能力来实现其突破性的自动货运解决方案，将安全可靠的自主技术引入卡车运输行业。
联想推出了一款名为 UltraBoost 的新型 AI 加速引擎，该引擎将在 NVIDIA DRIVE 上运行，具备AI 模型引擎和 AI 编译器工具链，可推进车内 LLM 的部署。
SoundHound AI 使用 NVIDIA 技术来运行其结合了实时和生成式 AI 功能的车载语音界面，即使车辆没有云连接，该界面也能提供响应。借助这一解决方案，驾驶员可以访问 SoundHound 的车辆智能产品，通过自然语音直接从汽车手册和其他数据源即时提供设置、故障排除和其他信息，而无需纸质文档。
塔塔集团旗下的塔塔咨询服务公司利用其基于AI的技术和工程创新，打造了由 NVIDIA GPU 和软件框架支持的 Automotive GenAI 套件。该套件能够加速软件定义车辆的设计、开发和验证，同时充分利用各种 LLM 和 VLM 为车载和基于云的系统提供支持。
MediaTek 宣布推出四款适用于 Dimensity Auto 座舱平台 (Dimensity Auto Cockpit) 产品系列的车规级SoC，为从豪华到入门级的新一代智能汽车提供基于 AI 的卓越座舱体验。为了支持深度学习功能，Dimensity Auto 座舱平台芯片组集成了 NVIDIA 下一代 GPU 加速的 AI 运算和 NVIDIA RTX 图形处理技术，支持在车内运行 LLM，可赋能车载语音助手、多屏显示、驾驶警觉性监测等先进的 AI 安全和娱乐应用。