编者注：本文是洞悉 Omniverse 系列文章。“洞悉 Omniverse”重点介绍开发者、3D 从业者与企业如何使用 OpenUSD 以及 NVIDIA Omniverse 的最新进展深入改变他们的工作流。
今年 7 月，NVIDIA 与 200 多家公司和组织共同签署了《开放权重与美国 AI 领导地位》的公开信。这封公开信指出，衡量 AI 领导力的标准并不是任何单一的前沿模型，而是取决于开放生态系统是否覆盖到每个行业。
任何人都可以下载、检查、修改并在自己的基础设施上运行开放模型，这使上述愿景成为可能。这一点在物理 AI 领域至关重要，在该领域每一次部署都是一个专业化问题。
物理 AI 要理解和预测结果，而不仅仅是表象。
为了实现这一点，世界模型需要学习物理环境的行为方式、接下来可能发生的情况以及哪些后续行动是合理的。它们能够生成物理基础世界和动作数据，模拟未来状态，并为团队提供一个其可以根据机器人、智能汽车或视觉 AI 系统进行专业化的基础。
开放世界模型已被用于生成训练数据、测试策略和专业化的物理 AI 系统。NVIDIA Cosmos 3 将这些功能整合到一个开放模型系列中，在基准测试中取得了领先的结果，并在机器人、智能汽车和视觉 AI 领域获得广泛采用。
此外，NVIDIA Omniverse 库作为 NVIDIA Agent Toolkit 的一部分，为构建面向仿真的世界提供预构建功能，物理 AI 团队可以在现实世界部署之前使用这些功能来训练、测试和验证系统。
世界模型是物理 AI 的基础
物理 AI 背后的数据很难收集且在所需规模下成本高昂。罕见事件和长尾场景尤其难以安全、反复地重现。
世界模型能够实现：
- 通过从大规模多模态场景中学习物理关系，获取更多有用数据。
- 更具多样性的环境，包括不同的天气、光照、物体和轨迹。
- 更好的基础，以便在此基础上进行构建和适配特定的机器人、车辆、传感器配置、任务或操作环境。
通用模型并未针对特定团队的机器人、传感器或运行环境进行过训练。要缩小这一差距，需要获取模型权重、获得允许进行适配的许可证，以及后训练所需的工具。
NVIDIA Cosmos 世界基础模型在 Linux 基金会的 OpenMDW 1.1 许可下可用，使团队能够在自己的数据和硬件上对模型进行后训练。专业化方面，开放性已成为一项切实的技术要求。
模型专业化只是工作流的一部分。团队还需要环境来生成数据、运行仿真和测试行为。
Omniverse 库可帮助开发者构建面向仿真的环境，同时 OpenUSD 为跨数字孪生、仿真和合成数据生成工作流组合、重用和交换复杂的 3D 数据提供了开放框架。Omniverse 和 OpenUSD 协同工作，减少了每次资产、传感器配置或环境条件发生变化时可能累积的重复性工作。
Cosmos 3：前沿模型
NVIDIA Cosmos 3 是一个基于 Mixture-of-Transformers (MoT) 架构构建的前沿开放物理 AI 基础全模态模型，它结合了视觉推理、世界生成和动作预测，让开发者能够使用一个模型系列来理解场景、生成合成数据、模拟未来状态并构建专用世界行动模型。
开发者可以将 Cosmos 3 用作视觉语言模型、预测未来世界状态并生成大规模合成数据的符合物理规律的世界模拟器、或是用作世界动作模型的主干网络，而无需为每种功能组装和维护单独的模型。
该系列包括用于高保真世界建模的 Cosmos 3 Super (64B)、用于高效推理和后训练的 Cosmos 3 Nano (16B)，以及用于端侧视觉推理和机器人策略部署的 Cosmos 3 Edge (4B)。Cosmos 3 Edge 足够轻量，可在边缘 GPU 上运行，支持在 NVIDIA RTX GPU、NVIDIA DGX 系统以及包括 Jetson Thor 在内的 NVIDIA Jetson 平台上部署。
在各项基准测试评估中，Cosmos 3 在 Artificial Analysis 的开放权重文本生成图像和图像生成视频类别、PAI-Bench 的世界生成类别以及 Physics-IQ 的图像生成视频类别中均排名第一。在机器人策略方面，它在 RoboLab 上排名第一。Cosmos 3 Super 也是 VANTAGE-Bench 视觉理解类别排名最高的开放模型。
除了 Cosmos 之外，NVIDIA 物理 AI 软件栈还包括面向机器人领域的 Isaac GR00T、用于智能汽车领域的 Alpamayo 和用于视觉 AI 领域的 Metropolis。
开发者如何将 Cosmos 3 投入使用
各行各业的开发者正在基于 NVIDIA Cosmos 构建物理 AI 应用：机器人领域包括斗山机器人、LG 电子、三星电子和 Skild AI；智能汽车领域包括理想汽车、小米和 Afari；视觉 AI 智能体方面则有 Centific、FogSphere、Linker Vision、Milestone Systems 和 Yuan 赋能工业 AI 和智能空间应用。
NVIDIA Cosmos Coalition 将世界模型构建者、AI 开发者和物理 AI 领导者聚集在一起，共同贡献模型、研究和评估方法，进一步扩展了这项工作。NVIDIA 近期将该联盟进一步拓展至日本，当地的机器人和制造业领导者计划加入该联盟，为工厂、物流、农业、建筑、医疗和交通运输等领域开发开放世界模型。
这些实施和协作共同将开放世界模型作为机器人、智能汽车和视觉 AI 系统中物理 AI 的适应性基础。
立即体验
通过以下资源了解有关世界模型、OpenUSD 和物理 AI 开发的更多信息：
- 在 Hugging Face 以及 GitHub 探索开放的 Cosmos 3 模型集合和数据集。
- 阅读 Cosmos 3 技术报告，了解完整的架构细节和评估。
- 阅读 Cosmos 3 技术博客。
- 收听 Cosmos Labs 直播。
- 了解 NVIDIA Cosmos Coalition。