NVIDIA 发布开放物理 AI 数据工厂 Blueprint,加速机器人、视觉 AI 智能体和智能汽车开发

作者 英伟达中国

新闻摘要:

  • 该蓝图支持大规模数据处理与整理、合成数据生成、强化学习以及物理 AI 模型的评估,适用于视觉 AI 智能体、机器人和智能汽车。
  • 包括 Microsoft Azure 和 Nebius 在内的云服务提供商正通过该蓝图,将全球规模的算力转化为由智能体驱动的开箱即用型数据生产引擎。
  • FieldAI、Hexagon Robotics、Linker Vision、Milestone Systems、Skild AI、Uber 和 Teradyne Robotics 等领先的物理 AI 开发商,正基于该蓝图加速机器人、视觉 AI 智能体和智能汽车的开发。

GTC — NVIDIA 今天宣布推出 NVIDIA 物理 AI 数据工厂 Blueprint(NVIDIA Physical AI Data Factory Blueprint)。这是一个开放的参考架构,用于统一并自动化训练数据的生成、增强和评估流程,从而降低大规模训练物理 AI 系统的成本、时间和复杂性。

借助该蓝图,开发者能够使用 NVIDIA Cosmos™ 开放世界基础模型和先进的编程智能体,将有限的训练数据转化为大规模且多样化的数据集,其中包括在现实世界中采集成本极高、耗时且往往难以采集的罕见边缘用例和长尾场景。

NVIDIA 正与 Microsoft AzureNebius 合作,将该开放蓝图深度集成至其云基础设施和服务中,助力开发者将加速计算能力转化为海量训练数据。FieldAIHexagon RoboticsLinker VisionMilestone SystemsRobo Force、Skild AI、Teradyne Robotics 和 Uber 等领先的物理 AI 开发企业正借助该蓝图加速机器人、视觉 AI 智能体和智能汽车的开发。

NVIDIA Omniverse 与仿真技术副总裁 Rev Lebaredian 表示:“物理 AI 是 AI 革命的下一个前沿,其成功的关键在于生成海量数据的能力。通过与领先的云服务提供商合作,我们正在提供一种全新的智能体引擎,将算力转化为高质量数据,推动下一代自主系统和机器人的发展。在这个新时代,计算即数据。”

面向物理 AI 开发的统一引擎

物理 AI 遵循扩展定律:性能随着数据规模、算力和模型容量的增长而提升。NVIDIA 物理 AI 数据工厂 Blueprint 作为统一的参考架构,通过模块化、自动化的流程,帮助团队从原始数据转变为对模型可直接训练的数据集:

  • 数据整理与搜索NVIDIA Cosmos Curator 用于处理、优化并标注大规模的真实世界和合成数据集。
  • 增强与倍增:Cosmos Transfer 对整理后的数据进行指数级扩展和多样化处理,使真实与模拟输入成倍增加,更好地捕捉不同环境和光照条件下的罕见边缘用例和长尾场景。
  • 评估与验证:基于 Cosmos Reason 的 NVIDIA Cosmos Evaluator (现已上线 GitHub) 可自动对生成的数据进行评分、验证并筛选,确保物理准确性及训练可用性。

NVIDIA 正在使用该物理 AI 数据工厂 Blueprint 来训练和评估 NVIDIA Alpamayo,这是个全球首个基于推理的、用以提高辅助驾驶的长尾场景能力的开源 VLA 模型。Skild AI 正在借助该蓝图推进通用机器人基础模型。同时, Uber 正利用其加速智能汽车的开发。

由智能体驱动的规模化编排

许多机器人开发人员并不具备建立和管理大规模生成数据所需的复杂 AI 基础设施的能力。

开源编排框架 NVIDIA OSMO 可在不同计算环境之间统一并管理这些工作流,减少人工操作,使开发人员可以专注于构建模型。

目前,OSMO 已与 Cursor 等先进的编程智能体集成,实现了 AI 原生运维。在这一模式下,智能体能主动管理资源、解决瓶颈问题,并加速模型的规模化交付进程。

赋能全球物理 AI 生态系统

云服务提供商在提供开发者大规模构建和部署物理 AI 所需的加速 AI 基础设施、机器学习运营和编排服务方面起着关键作用。

Microsoft Azure 正在将 NVIDIA 物理 AI 数据工厂 Blueprint 集成到一套开放的物理 AI 工具链中,现已在 GitHub 上线。该蓝图实现了与 Azure 多项服务的深度集成,包括 Azure IoT Operations、Microsoft Fabric、Real-Time Intelligence、Microsoft Foundry 和 GitHub Copilot,旨在提供智能体驱动的企业级工作流,用于快速、大规模地训练和验证物理 AI 系统。

FieldAI、Hexagon Robotics、Linker Vision 和 Teradyne Robotics 是首批测试 Azure 物理 AI 工具链的部分企业,用于加速和扩展其感知、移动性和强化学习工作流中的数据生成、增强和评估。

Nebius 已将 OSMO 集成至其 AI Cloud 中,使开发者能够使用该蓝图部署符合自身需求的生产就绪型数据管线。Nebius 的基础设施为物理 AI 堆栈提供端到端支持。

Milestone Systems、Voxel51 和 RoboForce 已经率先在 Nebius 基础设施上运行该蓝图,以加速视频分析 AI 智能体、智能汽车和工业人形机器人的模型开发。

NVIDIA 物理 AI 数据工厂 Blueprint 预计将于 4 月在 GitHub 上线。

观看 NVIDIA 创始人兼首席执行官黄仁勋的 GTC 主题演讲,并探索其他会议