丹佛—SIGGRAPH—当地时间 2024 年 7 月 29 日——NVIDIA 于今日发布通用场景描述 (OpenUSD) 的重大成果。这将扩大这一通用 3D 数据交换框架在机器人、工业设计和工程领域的应用，提高开发者为AI新一轮发展构建高精度虚拟世界的能力。
通过基于 OpenUSD 的全新生成式AI，以及在 NVIDIA Omniverse 平台构建的 NVIDIA 加速的开发框架，越来越多的行业现在能够开发出用于可视化工业设计和工程项目的应用，以及用于构建新一代物理 AI 和机器人的环境仿真的应用。
新推出的内容包括适用于AI模型的 NVIDIA NIM™ 微服务，这些微服务可生成回答用户查询的 OpenUSD 语言、生成 OpenUSD Python 代码、将材质应用于 3D 物体、理解 3D 空间和物理学以帮助加快数字孪生的开发等。其他还包括可用于机器人和工业仿真数据格式的全新 USD 连接器，以及各种开发者工具，用户可通过它们将海量 NVIDIA RTX™ 全光线追踪数据集传输到 Apple Vision Pro。
NVIDIA Omniverse 与仿真技术副总裁 Rev Lebaredian 表示：“重工业的生成式 AI 潮已经到来。直到最近，数字世界的主要用户还是创意行业；而现在，借助 NVIDIA NIM 微服务为 OpenUSD 带来的增强功能和可访问性，各个行业都可以创建基于物理学的虚拟世界和数字孪生，在加快创新的同时，为机器人这次新一轮 AI 技术热潮做好准备。”
通过 NVIDIA NIM 将生成式 AI 应用于 USD
NVIDIA 开发的全球首个用于 OpenUSD 开发的生成式 AI 模型将以 NVIDIA NIM 微服务 的形式提供。借助这些模型，开发者能够将生成式 AI copilot 和智能体整合到 USD 工作流中，拓宽 3D 世界的可能性，帮助加快 USD 在制造业、汽车行业和机器人等新工业领域的应用。
预览版中的微服务包括：
- USD Code NIM 微服务：回答常识性 OpenUSD 问题，并基于文本提示自动生成 OpenUSD-Python 代码，然后将其输入到 OpenUSD 查看应用程序 (例如皮克斯的 USDView) 或基于 NVIDIA Omniverse Kit 的应用，以实现相应3D数据的可视化。
- USD Search NIM 微服务：使开发者能够使用自然语言或图像输入，在海量 OpenUSD、3D 和图像数据库中进行搜索。
- USD Validate NIM 微服务：检查上传文件与 OpenUSD 发布版本的兼容性，并生成完全由 NVIDIA Omniverse Cloud API (应用编程接口) 驱动的 RTX 渲染路径追踪图像。
即将提供的新微服务包括：
- USD Layout NIM 微服务：使用户能够基于空间智能，根据一系列文本提示组装出基于 OpenUSD 的场景。
- USD SmartMaterial NIM 微服务：预测并将逼真的材料应用于计算机辅助设计对象。
- fVDB Mesh Generation NIM 微服务：根据点云数据生成基于OpenUSD 的网络，并通过 Omniverse Cloud API 进行渲染。
- fVDB Physics Super-Res NIM 微服务：对帧或帧序列执行 AI 超分辨率 ，生成基于 OpenUSD 的高分辨率物理仿真。
- fVDB NeRF-XL NIM 微服务：使用 Omniverse Cloud API 在 OpenUSD 中生成大规模神经辐射场。
Foxconn 是全球制造业的领导者，在全球拥有 170 多家工厂，受益于 NVIDIA 的计算平台，利用 NIM 微服务和 Omniverse 为一家正在开发中的工厂创建了数字孪生。
Foxconn 首席数字官兼智能制造平台负责人史喆表示：“数字孪生将帮助我们加速新一波工业制造和自主机器的发展。NVIDIA Omniverse 和全新的 NIM 微服务将使数字孪生的开发变得更加普及，并帮助我们的团队以前所未有的速度构建基于物理的虚拟工厂。”
全球领先的营销与传播服务公司 WPP 是 USD Search 和 USD Code NIM 微服务的早期用户之一。该公司将这些微服务用于其基于 NVIDIA Omniverse 构建的生成式 AI 内容创建管线中，为可口可乐公司等客户提供服务。
WPP 首席技术官 Stephan Pretorius 表示：“这些创新的美妙之处在于它与我们的工作方式高度兼容，并充分利用了开放标准。这不仅加速了未来的工作，而且使我们能够继续巩固和扩展我们之前在 OpenUSD 等标准上的所有投资。通过使用 NVIDIA NIM 微服务与 NVIDIA Omniverse，我们能够以前所未有的速度与可口可乐公司等企业联合推出创新的新生产工具。”
USD 连接器为更多行业带来生成式 AI
多款适用于机器人数据格式和 Apple Vision Pro 流式传输的全新 USD 连接器将为更多行业带来 OpenUSD 互操作性与高级创作能力。
为帮助更多使用 OpenUSD 的工业工作负载，NVIDIA 与全球工业自动化和软件领先者西门子正在扩大合作。西门子将把 OpenUSD 流水线与其 Simcenter 仿真技术组合集成，以支持基于证据的决策和关键利益相关方之间的协作。
该集成可实现复杂仿真数据的高保真、实时、逼真可视化，让企业能够更加深入地了解产品在实际操作环境中的性能。西门子将把 Omniverse 纳入到其 Teamcenter 产品生命周期管理软件组合中，为这项工作打好基础。
NVIDIA 还发布了一个从统一机器人描述格式 (Unified Robotics Description Format) 到 OpenUSD 的连接器，让机器人专家能够将他们的机器人数据无缝导入到用于设计、仿真和强化学习等用途的各种应用中。
为了进一步推动 OpenUSD 生态系统的扩张，NVIDIA 发布了 OpenUSD Exchange 软件开发套件，帮助开发者创建出自己的强大 OpenUSD 数据连接器。
新的开发者工具和API可通过 NVIDIA Graphics Delivery Network（GDN），将大规模 OpenUSD 场景从基于 Omniverse 平台构建的应用流式传输到 Apple Vision Pro。目前，这些新工具和 API 提供抢先体验版本。
皮克斯首席技术官兼 OpenUSD 联盟 (AOUSD) 主席 Steve May 表示：“OpenUSD 正在彻底改变我们创建 3D 内容并与之互动的方式。现在，借助 NVIDIA 为 OpenUSD 打造的这些新服务和 API，我们有望看到 USD 以更快的速度增长和普及，这将为新用户和行业更轻松地参与我们的生态系统铺平道路。”
OpenUSD 生态系统的发展势头
去年，NVIDIA 与皮克斯、Adobe、苹果和 Autodesk 共同创立了 OpenUSD 联盟，并通过 OpenUSD 联盟与其他伙伴一起发布了 OpenUSD 的新版本、OpenUSD 核心规范的进展以及新成员的加入情况。
供货情况
NVIDIA API 目录现在提供USD Search、USD Code 和 USD Validate NIM 微服务的预览版。OpenUSD – URDF 连接器现已与 NVIDIA Isaac Sim™ 一起提供。
开发者可以使用全新 Omniverse 开发者工具和参考工作流，将生成式 AI 集成到 OpenUSD 工作流中，使用 OpenUSD 构建生成式 AI 赋能的合成数据管线。
观看 NVIDIA 创始人兼首席执行官黄仁勋于计算机图形会议 SIGGRAPH 上进行的炉边谈话，进一步了解生成式AI和加速计算领域的最新进展。