NVIDIA Isaac 机器人平台利用最新的生成式 AI 和先进的仿真技术，加速 AI 机器人技术的发展。
在今天的 GTC 上，NVIDIA 发布了 Isaac Manipulator 和 Isaac Perceptor 等一系列基础模型、机器人工具和 GPU 加速库。
NVIDIA 创始人兼首席执行官黄仁勋在台上向一万多名观众展示了用于人形机器人学习的通用基础模型 Project GR00T（代表通用机器人 00 技术）。Project GR00T 利用 NVIDIA Isaac 机器人平台的各种工具来创建用于人形机器人的 AI。
黄仁勋表示：“开发通用人形机器人基础模型是当今 AI 领域中最令人兴奋的课题之一。世界各地的机器人技术领导者正在汇集各种赋能技术，致力于在人工通用机器人领域实现突破。”
NVIDIA 还发布了一款基于 NVIDIA Thor 系统级芯片的新型人形机器人计算机和用于 NVIDIA Isaac 机器人平台的全新工具，包括用于机器人学习的 Isaac Lab 和用于混合云工作流编排的 NVIDIA OSMO。这些工具对 Project GR00T 和机器人基础模型的开发至关重要。
推出适用于机械臂的 Isaac Manipulator
NVIDIA Isaac Manipulator 为机械臂提供了一系列先进的运动生成和模块化 AI 功能，以及各种强大的基础模型和 GPU 加速库。
机器人开发者可以使用专门为特定任务定制的软件组件组合来感知周围环境并与之交互，通过加速 AI 模型训练和任务编程，为动态操纵任务构建可扩展和可重复的工作流。
NVIDIA 机器人技术和边缘计算副总裁 Deepu Talla 表示：“将用于生成基础模型的新工具整合到 Isaac 平台中，可以加速开发出更加智能、灵活且通用于多种任务的机器人。”
众多领先的机器人公司正在与 NVIDIA 合作，将 Isaac Manipulator 带给他们的客户，其中包括安川电机、Solomon、PickNik Robotics、READY Robotics、Franka Robotics 以及泰瑞达旗下子公司优傲等。
安川电机总裁 Masahiro Ogawa 表示：“通过将 NVIDIA AI 工具和功能引入安川电机的自动化解决方案，我们正在推动机器人在各个行业的应用，这将对各行各业产生重大的影响。”
NVIDIA 正在推出能够增强现有机器人操作系统的基础模型。这些模型将有助于开发能够感知、适应和重新编程的机器人，以适应智能制造领域的各种环境和应用，处理拾放任务、机器维护和装配等。具体如下：
- FoundationPose 是一个开创性的基础模型，用于对以前未见过的物体进行 6D 姿势估计和追踪。
- cuMotion 利用 NVIDIA GPU 的并行处理能力，通过同时运行多个轨迹优化来提供最佳解决方案，从而解决工业规模的机器人运动规划问题。
- FoundationGrasp 是一种基于 transformer 的模型，可对未知 3D 物体进行密集抓取预测。
- SyntheticaDETR 是一种适用于室内环境的对象检测模型，可加快新对象的检测、渲染和训练速度。
推出适用于自主移动机器人视觉 AI 的 Isaac Perceptor
制造业和物流部门正在采用自主移动机器人（AMR）以提高效率和更好地保护工人，同时降低错误率和成本。
Isaac Perceptor 提供的多摄像头 360 度视觉功能为 ArcBest、比亚迪和凯傲集团等早期行业合作伙伴带来先进的视觉 AI，帮助他们安装协助物料搬运作业的 AMR 设备。
NVIDIA Nova Orin DevKit 由 NVIDIA 与 Segway Robotics 和 Leopard Imaging 合作开发，可帮助企业快速开发、评估和部署 Isaac Perceptor。
ArcBest 首席创新官、ArcBest Technologies 总裁 Michael Newcity 表示：“ArcBest正在与NVIDIA合作，将先进的机器视觉技术引入物流领域。在我们的 Vaux Smart Autonomy AMR 叉车和前移式卡车中使用了 Isaac Perceptor 平台，可以实现更好的感知、语义感知导航和 3D 映射，以便在仓库、配送中心和制造设施的物料搬运过程中进行障碍物检测。”
适用于人形机器人开发的 Project GR00T 技惊四座
在 GTC 上展示的 GR00T 驱动的人形机器人可以接受多模态指令——包括文本、视频和演示——以及它们此前的交互，从而为机器人生成所需的动作。GR00T 在 Agility Robotics、Apptronik、傅利叶智能和宇树科技等四家公司的人形机器人上进行了展示。
人形机器人是一套复杂的系统，需要异构计算来满足高频低级控制、传感器融合与感知、任务规划和人机交互的需求。NVIDIA 最新发布了基于 NVIDIA Thor SoC 的全新人形机器人计算机 Jetson Thor。
Jetson Thor 包括一个带有 transformer engine 的下一代 GPU，其采用 NVIDIA Blackwell 架构，可提供每秒 800 万亿次8位浮点运算 AI 性能，以运行 GR00T 等多模态生成式 AI 模型。凭借集成的功能安全处理器、高性能 CPU 集群和 100GB 以太网带宽，大大简化了设计和集成工作。
Project GR00T 使用提供给机器人开发者的 Isaac 工具来构建和测试基础模型，比如 Isaac Lab 和 OSMO 等。前者是一个全新轻量级仿真应用，基于 Isaac Sim 而构建，适用于大规模训练人形机器人模型；后者是一个用于管理训练和仿真工作负载的云工作流编排平台。
利用 Isaac Lab 加速机器人学习
需要高级运动技能（无论是行走还是抓取）的机器人都必须在仿真环境中运用深度强化学习，并在虚拟环境中通过反复训练来学习技能。而当模型迁移到真实的机器人部署中时，这个实用程序就会变得更加有用，Project GR00T 已经证明了这一点。
作为 Isaac Gym 的后续产品，Isaac Lab 受益于 NVIDIA Omniverse 技术，用于基于物理信息、逼真且基于感知的强化学习任务。Isaac Lab 是一款性能优化的开源机器人学习应用，基于 Isaac Sim 平台构建而成，集成了强化学习 API 和开发者友好的任务框架。
利用 NVIDIA OSMO 实现云原生机器人工作流调度
NVIDIA OSMO 可在分布式环境中扩展工作负载。对于具有复杂的多阶段和多容器工作流的机器人工作负载，该平台提供与位置无关的部署选项，并为已部署的模型提供数据集管理和可追溯性功能。
波士顿动力公司机器学习和感知负责人 Pat Marion 表示：“波士顿动力公司采用了一系列机器学习、强化学习和 AI 技术赋能机器人。为了有效管理庞大的训练工作量，我们正在使用 NVIDIA OSMO。这款基础设施解决方案可以让机器学习工程师精简工作流程，让他们运用专业知识去解决更为棘手的机器人问题。”
例如，OSMO 可在 NVIDIA DGX 和 NVIDIA OVX 服务器上并行运行模型，帮助模型完成训练，并在仿真环境中实时强化学习，通过这种方式为 GR00T 提供支持。这一工作负载包括在循环中迭代生成和训练模型。OSMO 能够在分布式环境中管理和调度工作负载，实现 DGX 与 OVX 系统的无缝协调，从而实现高效和迭代的模型开发。一旦模型可以进行测试和验证，OSMO 就能在 OVX（x86-64）上独特地编排软件在环工作流，并利用 NVIDIA Jetson（aarch64）计算资源编排硬件在环工作流。
支持 ROS 开发者生态系统
NVIDIA 以创始成员兼白金赞助商的身份加入了开源机器人联盟（OSRA）。OSRA 是开源机器人基金会的一项新举措，旨在通过支持包括机器人操作系统（ROS）在内的多个开源机器人项目，促进机器人社区的合作、创新和技术指导。
Open Robotics 首席执行官 Vanessa Yamzon Orsi 表示：“随着自主机器人能力的日益提升，业界越来越需要更加强大且节能的板载计算。ROS 社区正在亲身体验这种需求，我们的用户正在越来越多地使用 NVIDIA 等行业领导者提供的先进加速计算硬件。”
NVIDIA Isaac Perceptor 与 Nova Orin 评估套件、Isaac Manipulator、Isaac Lab 以及 OSMO 将于今年第二季度提供给客户和合作伙伴。了解更多关于 Project GR00T 的信息。