NVIDIA Cosmos 推出全新工具,助力训练、评估与部署世界模型

NVIDIA Cosmos 新增多款工具,可助力加速数据流,更高效地训练、评估和优化世界模型,并以更低成本提升准确率。
作者

为助力开发者快速构建能够帮助物理 AI 系统理解并模拟现实世界的世界模型,NVIDIA 进一步扩展了 Cosmos 平台,新增训练工具、仿真检查点和 Cosmos Data Factory 蓝图。

NVIDIA Cosmos 平台在六个不同的开放模型基准榜单上均跻身前五,为世界模型构建者提供前沿开放模型,以及数据、训练和优化工具与方案,助力其在部署前扩展训练数据、适配模型、测试行为,并完成性能优化。

构建更优质的训练数据

构建世界模型始于多模态、多感官数据。

NVIDIA Cosmos Data Factory 汇集了用于大规模数据标注、筛选、增强和评估物理 AI 训练数据所需的工具与技能。作为一款用于筛选视频训练数据集的 GPU 加速解决方案,Cosmos Curator 现已新增对多模态、多感官输入及处理模块的支持。

阅读 NVIDIA 在欧洲的新闻公告

Cosmos Data Factory 现提供以下五款云原生蓝图,并可通过 GitHub、Microsoft Azure、Nebius 和 CoreWeave 获取:

  • 辅助驾驶汽车数据集生成:筛选并标注驾驶数据,随后补充难以采集场景的合成样本,从而扩大训练覆盖范围。
  • 图像属性增强:通过改变物体外观,提升图像搜索效果。
  • 事件视频生成:将静态图像转换为罕见或危险事件的合成视频。
  • 缺陷图像生成:为检测模型生成印刷电路板、金属和玻璃的缺陷图像。
  • 视频数据增强:在保留场景结构的同时,改变现有视频素材中的天气与光照条件。
Cosmos Data Factory 借助智能体技能,加速数据筛选、处理和合成数据生成。

企业已开始将 Cosmos Data Factory 蓝图投入实际应用,以加速其物理 AI 开发工作流。

保时捷正借助 Microsoft Azure 上由 Voxel51 提供的 Cosmos Data Factory,引领大众汽车集团旗下各品牌间构建共享的辅助驾驶汽车数据飞轮。预计该方案可减少高达 90% 重复性实车测试,并将开发周期缩短高达 85%。

保时捷在 Voxel51 中搜索并增强辅助驾驶汽车视频数据,由 Cosmos Data Factory 提供支持。

ANYbotics 借助 Cosmos Data Factory 蓝图生成了逾 1,500 个合成视频片段,结合真实世界数据的整理,并通过 Encord 的平台验证输出结果,以训练其工业巡检机器人识别液体泄漏及设施巡检期间的其他变化。

ANYbotics 借助由 NVIDIA Cosmos Data Factory 提供支持的 Encord 生成异常片段。

计算机视觉公司 Ultralytics 利用真实图像以及通过 Cosmos Data Factory 生成的定向合成缺陷数据重新训练了其 YOLO 模型,提升了缺陷定位能力和召回率。

训练、适配与优化模型

在准备好训练数据后,开发者可以训练其自有架构,或从预训练模型开始。

在 GTC 柏林上,NVIDIA 将 Cosmos Framework 的训练、优化和部署工具及配方以智能体技能的形式扩展至更多开放模型,并推出 Cosmos 3,助力世界模型构建者提供了一条从实验到部署的捷径。


开发者和智能体现可通过微调和强化学习,对 GR00T、Alpamayo、Qwen、Pi0.5 等开放模型以及其他兼容的 Hugging Face 模型进行适配,并借助蒸馏和量化优化模型,并通过高性能推理进行部署。

Cosmos Framework 是一个开放、模块化的框架,提供模型训练与优化工具和技能,旨在加快世界模型的开发。

为开发专门面向第一视角操作的世界模型,机器人研究实验室 MicroAGI 使用人类操作物体的视频对 Cosmos 3 进行后训练,并将其 320 亿参数的推理器蒸馏为 80 亿参数的 Nano 模型,同时保持准确率不变。

开发者可在 Roboflow 上标注数据,并针对他们的特定环境和任务对 Cosmos 3 进行后训练,随后将这些模型部署至 Roboflow 托管环境或本地 NVIDIA GPU,从而将视频推理能力引入工厂和仓库。

加快策略测试与模型运行

在推出这些工具的同时,NVIDIA 还通过其在 Cosmos 模型研发,不断推动基础技术发展。

面向仿真的全新 Cosmos 3 Nano 模型变体,支持开发者在可重复且难以采集的多视角、多传感器场景中测试自主策略。配套代码支持开发者在开展现实环境测试前调整模型,以在交互式仿真中训练并评估其面向辅助驾驶汽车和双臂机器人的自有策略。

生成多视角、多感官视频数据,用于在闭环仿真中评估策略

开发者可借助更新后的 NVIDIA Cosmos 3 NIM 部署核心 Cosmos 模型。在经验证的配置中,该服务能够在不损失质量的同时将推理速度提升至高 2 倍,同时持续的视频分析可实现亚秒级警报。

对于视觉 AI 开发者,基于 Cosmos NIM 构建的全新用于视频搜索与摘要 (VSS) 3.3 的 NVIDIA Metropolis Blueprint,只需一个提示词即可构建高效的视频 AI 应用,并帮助团队在使用相同数量 GPU 的情况下,多监测 40% 的视频流。

ADNOC 采用基于 Cosmos 和 NVIDIA Metropolis VSS Blueprint 构建的 Fogsphere 的 MistIQ 智能体平台,在 65 个作业现场实时检测安全隐患。针对罕见事件,Fogsphere 还利用 Cosmos Data Factory 生成合成训练数据,无需在物理环境中人为模拟危险场景,即可提升检测能力。

Cosmos 平台是完全模块化且开放的。开发者可借助 Cosmos Data Factory 生成训练数据集,并使用 Cosmos Framework 训练和适配世界模型,随后通过 NIM 部署受支持的 Cosmos 模型。

阅读 NVIDIA 在欧洲的新闻公告