长期以来，仿真一直是机器人学习行走、滚动和跳跃的训练场。如今，它正在帮助研究人员教会机器人完成那些需要更细腻手感的任务，比如齿轮对齐、线缆连接以及小型组件的装配。
从运动控制到操控的转变，正是本周在德克萨斯州奥斯汀举行的机器人学习大会 (CoRL) 上的核心议题。与此同时，智能体机器人这一全新范式也应运而生 —— 它将前沿智能体技术相融合，为物理机器人系统生成可解释的代码。
在 CoRL 上，NVIDIA 推出了一系列全新的开放机器人技术，涵盖世界动作模型、仿真工具、基准测试和智能体工作流。
在 CoRL 的最佳论文奖评选中，面对数千篇投稿，NVIDIA 有两篇论文脱颖而出，入围了仅有的六个最终候选名单：
- GRAIL(基于世界模型生成人形机器人移动与操作)，GRAIL 提出了一套用于机器人学习的数字化生成流水线，能够自动生成 3D 资产以及可直接用于物理仿真的场景。
- RoboTTT：面向机器人策略的上下文扩展，引入了全新的机器人模型与训练方案，它将视觉运动上下文的长度扩展到了比现有最先进策略高出三个数量级的水平，同时不会增加推理延时。
这些突破帮助研究人员在复杂任务上训练机器人、在不断变化的条件下评估其性能，并利用失败数据指导进一步学习 —— 从而构建起从实验室演示走向工业部署所必需的精度、适应性和自主性。
NVIDIA 正与 Ambi Robotics、Bosch Research、Dexmate、Dyna Robotics、FieldAI、Flexion、诺亦腾机器人、西门子、Skild AI、RLWRLD、加利福尼亚大学伯克利分校、Walden Robotics 以及华盛顿大学等合作伙伴一起，将这些前沿成果推向更广泛的机器人社区。
世界动作模型赋能机器人迈向更高阶的自主性
更高级别的机器人自主能力，要求机器人能够感知周围环境、预判自身行动将如何改变环境，并以极高的精度执行复杂的多步骤任务。世界动作模型正是为此而生。
在 CoRL 上，NVIDIA 发布了 GR00T 2 —— 一款基于 NVIDIA Cosmos 构建的开放前沿世界动作模型。该模型利用多样化的机器人和人类数据进行训练，其中包含了 10 万小时的 NVIDIA 开源人类第一视角数据，使机器人能够学习灵巧操作技能。其核心亮点包括：
- 开箱即用的性能：在没有任何针对具体任务示范的情况下，在 50 项评估任务中有 40 项至少成功完成了一次。
- 技能迁移：能够从人类示范中学习，并在不同机器人本体之间迁移技能，无需额外的机器人演示数据。
- 基于少量数据泛化：在每项任务仅提供一次示范的情况下，50 项任务的平均成功率达到 71%；增加至五次示范后，成功率提升至 95%。
- 智能体控制：AI 智能体可以调用 GR00T 2 的应用编程接口及配套工具，按顺序运行技能并在出错时自主恢复。
目前，GR00T 2 在 RoboCasa365、RoboLab、RoboDojo 和 MolmoSpaces 等基准测试的所有视觉-语言-行动模型和世界动作模型类别中均跻身前三，并多次登顶排行榜。
Nexuni 正在测试将 GR00T 2 用于机器人衣物分拣；Foxconn 已将其应用于服务器制造的工厂自动化场景；西门子则在多个工业应用案例中对其展开评估。
MicroAGI 正借助经过强化学习后训练的 GR00T 2，通过 YAM 机械臂执行以太网线缆更换任务。其采用的智能体机器人方法，依托 Isaac Lab 3.0 和 Newton 实现了仿真环境的自主创建与校准，策略训练也在这个环境中完成。
要训练真正有能力的机器人离不开多样化的数据。NVIDIA 开放的工作流和模型为研究人员提供了更强大的数据采集与标注工具：
- 对于正在构建机器人训练数据集的研究人员来说，NVIDIA 全新的开放“视频转数据”工作流能够将人类视频转化为可供仿真使用的机器人示范。NVIDIA 还发起了一项挑战赛，邀请研究人员共同推动该技术的发展。
- 在本届 CoRL 上进行展示的 NVIDIA EgoHand 开放模型，自发布两周以来在 Hugging Face 上的下载量已突破 4 万次。该模型基于诺亦腾机器人提供的数据进行训练，能够实现 3D 手部运动的重建。
训练与规模扩展都在仿真中完成
预训练模型为机器人奠定了一套核心技能。而仿真则让研究人员能够在部署到真实机器人之前，大规模地训练、优化和评估这些技能。
NVIDIA 开源机器人学习框架 Isaac Lab 为上述工作奠定了基础。其最新版本 Isaac Lab 3.0 允许研究人员利用智能体，并借助仿真就绪资产快速搭建训练环境，在 NVIDIA PhysX 和 Newton 物理求解器之间灵活切换，为基于感知的训练选择合适的渲染器，并将全新的强化学习后训练库应用于 GR00T 等基础模型。
精准的物理仿真是将仿真中学到的技能迁移到实体机器人的关键。得益于与开源物理引擎 Newton 的深度集成，Isaac Lab 如今已能建模线缆、布料等可变形物体，也能处理复杂的关节系统，如拥有大量相互耦合关节的机器人灵巧手。
Isaac Lab 与 Newton 强强联手，将精准的物理仿真与规模化扩展能力相结合，让研究人员能够同时训练数千个仿真机器人。在一项基于视觉的灵巧操作基准测试中，搭载 Newton 的 Isaac Lab 3.0 的训练吞吐量最高可达搭载 PhysX 的 Isaac Lab 2.3 的 2.5 倍。
开发者们正在不断拓展 Newton 的能力边界。在 CoRL 上，Skild AI 宣布推出 STEEL (面向具身学习的可扩展吞吐量优化引擎) —— 一款基于 Newton 构建的刚体物理求解器，旨在利用 Isaac Lab 加速机器人训练。
Flexion 展示了 Isaac Lab 和 Newton 如何助力训练其机器人智能模型 Reflect，该模型融合了推理能力与全身操控能力。
FieldAI 正在使用 Newton，以及基于 NVIDIA Omniverse 库构建的 Isaac Lab 和 Isaac Sim，来训练并验证用于在非结构化真实环境中部署的机器人策略。Dyna Robotics 将演示如何利用 Isaac Lab 的并行仿真，为其半人形机器人 Taku 训练全身控制器，以应对仓储、酒店和餐饮服务等工作场景。
Walden Robotics 正在使用 Isaac Sim 的照片级真实感渲染能力，在虚拟环境中训练并评估其面向制造和物流的通用机器人。Dexmate 则在探索如何让编程智能体在 Isaac Sim 中反复演练和优化操作策略，再将其部署到 Vega 机器人上执行。
AlphaNIST —— 一款在 Isaac Lab 中构建的系统 —— 完美诠释了高效练习如何转化为极致精度。通过单一策略即可掌握 NIST 装配任务板上的全部 20 项任务，仅凭“成功”或“失败”信号，就能操控毫米级的精密零件。其训练成功率超过 98%，相比之下，为每项任务单独训练策略的成功率仅为 81%，而 GPU 耗时仅为后者的约 1/39。
支撑这一成果的是来自华盛顿大学和 NVIDIA 的 Success-Guided Sampling(SGS) 方法。该方法将练习重点集中在策略成功率约一半的任务上，从而将训练资源精准导向机器人尚未掌握的技能。借助 SGS，机器人训练的规模可以突破百万个并行环境。
德克萨斯大学奥斯汀分校计算机学院与 Texas Robotics 正在使用 Isaac Sim 和 Isaac Lab 在仿真环境中训练机器人技能，让学生们在实体硬件到位之前就能着手开发。
机器人评估的新工业基准
学会一项技能是一个挑战，而在不断变化的条件下稳定可靠地执行，则是另一个更大的挑战。
NVIDIA Isaac Lab-Arena 是一个用于大规模策略评估的开源框架，它使开发者能够构建多样化且可重复的评测方案，并在数千种变量条件下并行运行机器人策略。分析结果能够揭示导致失败的具体条件，从而帮助研究人员明确在下一次训练迭代中需要修复的问题。该框架的最新版本 (0.4 版) 开发者预览版将在 CoRL 上亮相。
DexBench 和 VABAR 是两项全新的开放基准测试，也是首批基于 Isaac Lab-Arena 和 Newton 设计、用于衡量机器人在工业任务中灵巧性和适应性的评测标准。
DexBench 由 RLWRLD 与 NVIDIA 共同开发，将灵巧性评估从桌面实验搬到了现实世界的工作流中。该基准基于 NVIDIA Isaac Lab-Arena 构建，涵盖零售、物流、制造和酒店服务四大场景中的 15 项任务，全面检验机器人在物体、空间布局和物理条件变化下的泛化能力。
Genesis AI、mimic robotics 以及其他行业合作伙伴正在通过抢先体验评估 DexBench。
团队可以在 Bifrost 面向规模化机器人仿真的评估平台 Manifold 上直接运行 DexBench，无需任何环境搭建，且内置失败分析功能，还提供初始评估的免费额度。
VABAR(面向智能体机器人的变分自动化基准)，由加利福尼亚大学伯克利分校和 NVIDIA 共同推出，从六个工业任务维度评估机器人能力。每项任务都配有标准化的变量条件、难度分级和成功指标。
智能体将技能组合成机器人程序
成功完成一项任务需要机器人协调多种技能，并在突发状况下灵活应变。然而，为这些多步骤任务构建可靠的程序仍是一项挑战。
智能体机器人正是破解这一挑战的关键。
加利福尼亚大学伯克利分校全新的 Graph-as-Policy(GaP) 框架利用智能体将独立的技能连接成可执行的机器人程序。智能体会使用 NVIDIA Isaac 开放仿真技术来测试这些程序，并根据失败结果不断优化。这有助于研究人员用更少的数据扩展开发规模，同时保持程序的可解释性，以便工程师在部署前进行审查和验证。
加利福尼亚大学伯克利分校机器人学教授、VABAR 和 GaP 项目的核心负责人之一 Ken Goldberg 表示：“在我看来，智能体机器人是自 1995 年互联网诞生以来最令人振奋的技术进展。”
Ambi Robotics、Bosch Research 和西门子都在探索将 GaP 应用于各种工业场景中的智能体机器人工作流中。
欲了解更多信息，欢迎加入 NVIDIA 在 CoRL 上的活动。