今年的 SIGGRAPH 大会将持续到 7 月 23 日 (星期四) 在洛杉矶举行，参会者可以了解领先的图形研究、神经渲染、仿真和 AI 如何改变人们和机器创造和理解世界的方式。
NVIDIA 主题演讲于太平洋时间 7 月 20 日 15:45 举行，NVIDIA AI 研究和工程团队负责人 Neil Ashton、Edward Liu 和 Ming-Yu Liu 讨论了由 AI 构建的神经渲染技术、世界模型和 AI 仿真方法。
请继续阅读，了解 SIGGRAPH 大会的最新动态，NVIDIA 和合作伙伴将展示：
- NVIDIA 主题演讲回顾
- 模型上下文协议连接将代理式 AI 引入内容创建
- 适用于本地物理 AI 的 Cosmos 3 Edge 开放世界模型
- 在 DGX Station 上基于 NVIDIA Agent Toolkit 运行 NVIDIA NemoClaw
SIGGRAPH 主题演讲：NVIDIA 勾勒图形与物理 AI 的新时代蓝图
NVIDIA AI 研究与工程团队负责人今天在 SIGGRAPH 大会上登台，分享了神经渲染、世界模型和仿真方面的最新进展。这些技术正在改变各个领域创建和使用数字世界的方式，并可应用于创意工具、工业设计、机器人和自主系统。
NVIDIA 创始人兼首席执行官黄仁勋在开场视频中表示：“创作者和设计师需要足够强大的工具来拓展他们的想象力，需要足够灵活的工具来自由地塑造想法，也需要足够精确以实现他们的愿景。无论是用于游戏、电影、机器人还是工厂数字孪生，目标始终一致：打造具备与现实物理世界同等保真度和真实感的虚拟世界。”
NVIDIA 应用深度学习研究主管 Edward Liu 首先展示了 3D 引导神经网络渲染。
他分享了 NVIDIA 在神经渲染方面的最新进展，以及这些技术如何解决三大关键研究挑战：保留艺术创作的意图、确保输出在帧与帧之间的时间稳定性，以及实现 4K 内容实时渲染。
Edward Liu 表示：“控制艺术创作方向对我们来说是一个非常令人兴奋的研究方向。仿真定义了世界，生成丰富了它的外观，而艺术家则主导最终的结果。AI 正在扩展图形学，就像可编程着色器和光线追踪曾经扩展图形学的方式。”
NVIDIA 杰出工程师 Neil Ashton 介绍了 AI 物理领域的创新，包括天气预报、汽车空气动力学、散热设计等方面的应用。
在气候和天气研究中 NVIDIA Earth-2 开放模型系列使科学家能够利用基于模拟数据训练的 AI 模型，将模拟分辨率提升到新的水平，同时实现与传统方法相同或更高的准确性。
Ashton 说：“我们面临的挑战是如何将这些 AI 模型在天气和气候领域取得的成功应用到我们生活的世界中，从而能够设计出未来的飞机、汽车和数据中心。NVIDIA 关注的事情之一就是帮助实现这一愿景。”
Ashton 分享了 NVIDIA 研究中心及其合作伙伴开发的最新模型架构如何将模型 Checkpoint 压缩至数百 MB，这种百万倍量级的压缩能够在一秒内完成符合物理规律的精准可视化。
NVIDIA Cosmos 实验室副总裁 Ming-Yu Liu 分享了 NVIDIA Cosmos，这是一个用于加速物理 AI 系统开发的世界基础模型平台。
他说：“基础模型之所以被称为基础模型，关键在于它能够处理大量不同的数据。我们使用数据训练 Cosmos 执行各种物理任务，包括理解世界、预测、模拟和行动。我们使用一个主干网络解决所有不同的任务。”
Ming-Yu Liu 还介绍了用于帮助 NVIDIA Cosmos 3 实现全局理解的 Mixture-of-Transformers 模型架构。这种能力可实现符合物理规律的结果，适用于人形机器人、抓手或智能汽车等不同具身形态。
他说：“每个具身都有不同的语言，而我们的解决方案是建立一种通用的体系。”
NVIDIA Cosmos 包含一系列不同规模的开放模型，可支持开发者在各种部署用例下使用。今天发布的最新版本是 Cosmos 3 Edge，这是一个拥有 40 亿参数的模型，可在设备上实时运行。
Ming-Yu Liu 还宣布推出了 Cosmos-Dreams，这是一个闭环模拟器的集合，现场他和同事演示了一个专为智能汽车构建的模拟器，该模拟器可在单帧上生成整个世界，并在单张 NVIDIA RTX PRO GPU 上运行。
开发者可以使用 Cosmos-Dreams 验证其模型的准确性，然后再将其部署到实际车队中，或者使用它在现实世界中难以创建的 AI 生成场景中训练模型，从而在节省运营成本的同时加速开发。
观看完整主题演讲并详细了解 Cosmos 3 Edge。
AI 智能体将创意工具扩展到数百万用户
领先的创意应用正在开启模型上下文协议 (MCP) 连接，让 AI 智能体在场景、镜头、时间线、资产和剪辑工具中开展工作 —— 同时让创作者始终保持掌控力。
二十多年来，从 GPU 加速的视口和 CUDA 驱动的特效，到 NVIDIA RTX PRO 光线追踪、AI 降噪、神经渲染和实时仿真，NVIDIA 技术帮助加速艺术家、工作室和开发者用于构建全球游戏、电影、电视节目和广告内容的数字内容创作 (DCC) 工具。
从加速到行动
MCP 正开启加速创意的新篇章：应用程序不仅变得更快。它们正在成为面向智能体的产品。
借助 MCP 连接的工具，艺术家或技术总监可以要求智能体检查场景中缺少的纹理、标记不一致的色彩管理、准备导出变体、为每日样片生成播放预览或根据工作流规则验证镜头，同时将创意决策权保留在人类手中。
曾经加速视口、渲染、仿真和 AI 效果的 NVIDIA 平台，现在还可为专业创作者设计的系统上的本地智能体、模型推理和多应用工作流提供动力。
NVIDIA RTX PRO 工作站、DGX Spark 和 DGX Station 系统旨在为艺术家、开发者和工作室的工作流带来经加速的 AI 性能。在本地运行模型和智能体有助于提升响应速度、减少对外部服务的依赖，并确保敏感的创意数据保存在可控环境之中。
NVIDIA Agent Toolkit 还支持 MCP 集成，包括用于连接到远程 MCP 服务器的 MCP 客户端和用于向任何 MCP 客户端发布工具的 MCP 服务器。
创意生态系统实现面向智能体
在整个创意生态系统中，创意应用和平台正在暴露 MCP 连接或面向 MCP 的工作流，赋予 AI 智能体更深入、更具有依据的方式来访问实际生产环境。
Adobe 正在将其创意智能体扩展到 Firefly、Express 和 Creative Cloud，为 AI 助手体验提供支持。创作者只需要描述他们想要的结果，助手便会协调多步骤工作流来实现。Adobe 还通过 Adobe 连接器将其专业级创意工具引入第三方 AI 平台，从而在人们创作和工作的任何地方扩展其创意能力。对于开发者，Adobe 提供了 Adobe Express Developer MCP Server，使 AI 编程助手能够使用官方文档和应用程序编程接口 (API) 构建 Adobe Express 附加组件。
Canva 的 Affinity 推出了针对 Claude 的 AI 连接器，使用 MCP 将自然语言自动化直接引入 Affinity。设计师可以要求 Claude 处理重复性的生产任务，例如重命名图层和画板、为多渠道调整资产大小和格式、应用批量编辑、优化矢量路径以及准备交付文件。除了单项任务，Claude 还能帮助用户构建可复用的脚本和为其工作流量身定制的自定义功能，从而降低生产开销，让创意专业人士有更多时间专注于设计本身。
Blender 通过 Blender Lab 提供了一个轻量级 MCP 服务器，为 Blender 的 Python API、文档和复杂设置提供自然语言接口。对于独立艺术家和工作室来说，Blender 提供了一个很好的范例，展示了如何让开放的创意工具在不改变创意重心的情况下，实现智能体访问。
Boris FX Silhouette 现在包含一个 MCP 服务器，可让 AI 助手直接在您的项目中工作。通过使用 Silhouette 的 FX Scripting API 作为一流的 MCP 工具，助手可以检查项目、构建节点树、编辑形状和关键帧，以及渲染帧。全新的首选项面板通过安装 MCP 包、生成可直接粘贴的客户端配置以及测试连接，简化了设置过程。交互式在线模式可连接到您的活动会话，而离线模式则可运行无头实例，用于自动化、批量处理和大规模工作流。
Foundry Griptape 原生支持 MCP，提供专为专业视觉特效 (VFX) 工作流设计的 AI 编排。这种集成使工作室能够安全地管理多个 AI 模型和智能体，同时保持必要的可追溯性和创意把控力。通过与 Blender 和 Foundry Nuke 等工具集成，Griptape 可自动执行重复性生产任务，例如清理、数字绘景和质量控制，同时确保艺术家始终掌握对创作过程的最终决定权。
SideFX 正通过其全新的 APEX Script 工作流为 Houdini 22 引入 MCP 支持。AI 助手可以访问经过精心整理的 APEX Script 语法、函数、文档和示例集合，帮助艺术家生成和优化程序化角色绑定的代码。SideFX 的初始实现侧重于 APEX Script 和角色绑定，而社区开发的 MCP 服务器为智能体与 Houdini 的交互提供了更广泛的方式。
虚幻引擎 (Unreal Engine) 近期宣布，能够通过 MCP 将 AI 客户端连接至虚幻编辑器 (Unreal Editor)，从而实现可通过标准化协议与编辑器功能进行交互的 AI 工作流。对于游戏开发者、虚拟制作团队和实时艺术家而言，这为能够对场景、资产和项目状态进行推理的 AI 助手敞开了大门。
欢迎在 SIGGRAPH 大会上了解 NVIDIA RTX PRO 和 DGX 系统如何将本地 AI 智能体更紧密地融入创意工作。
NVIDIA Cosmos 3 Edge 现已推出，将前沿世界模型引入边缘 GPU 以实现本地物理 AI
物理 AI 系统依赖世界模型来感知、推理和预测物理环境。但现实世界十分广阔、无法预测且瞬息万变。
无论是导航仓库的机器人，还是观测工厂车间的摄像头网络，物理 AI 系统都需要理解当前状况，推断接下来可能发生的事情，并迅速采取行动以产生影响。到目前为止，在边缘端交付此类前沿 AI 通常意味着需要牺牲模型能力来换取部署效率。
现已推出的 NVIDIA Cosmos 3 Edge 有助于消除这种权衡。这款拥有 40 亿参数的全模态模型已进行优化，可在 NVIDIA Jetson、NVIDIA RTX PRO 和 NVIDIA DGX 系统，以及 GeForce RTX GPU 上实现内存高效部署和高吞吐量。
作为 NVIDIA Cosmos 3 的扩展，这款紧凑型世界基础模型能够理解并生成文本、图像、视频、环境声音和动作。其 Mixture-of-Transformers (MoT) 架构支持在设备上使得基于物理基础的实时视觉分析和机器人动作成为可能。
Cosmos 3 Edge 在边缘端提供前沿物理 AI —— 在同级别参数模型中，其视觉分析成功率在 VANTAGE-Bench 中排名第一，并通过后训练实现了先进的机器人学习。
跨机器人、智能汽车和智能基础设施的设备端物理 AI
开发者可以使用 NVIDIA DGX Station 台式 AI 超级计算机，利用专有机器人和传感器数据对 Cosmos 3 Edge 进行后训练，从而构建专用世界动作模型，然后将其部署在 NVIDIA Jetson Thor 上，以实现包括操作或移动在内的实时机器人管理策略。Agile Robots、斗山机器人、西门子和 Skild AI 等合作伙伴正在评估 Cosmos 3 Edge 在机器人工作流中的应用。
对于智能汽车，Cosmos 3 Edge 可在资源受限的硬件上实现道路场景理解、交通推理、物体意图预测和策略模型蒸馏。该模型可用作学生主干网络，适用于汽车策略模型蒸馏，可与 NVIDIA Alpamayo 视觉语言动作模型结合使用。
在智能基础设施领域，Cosmos 3 Edge 凭借在 Jetson Thor 上进行的实时推理，为视觉智能体提供了业界领先的吞吐量和准确性。这些智能体能够跨实时视频流进行推理，用于交通监测、公共安全、物流和工业检测。开发者还可以在 NVIDIA Jetson Orin 8GB 上独立运行由 NVIDIA Nemotron 驱动的 20 亿参数推理模块。Centific、Vaidio 和 YUAN 正在评估 Cosmos 3 Edge，以加速在边缘运行的视觉智能体。
Cosmos 平台现已开放获取
Cosmos 3 Edge 是用于开发物理 AI 世界模型的更广泛的 NVIDIA Cosmos 平台的一部分。随着 Cosmos 3 推出 Edge (4B)、Nano (16B) 和 Super (64B) 三种规模，开发者可以为从边缘部署到高保真生成的开发的各个阶段选择合适的模型。
Cosmos 3 Edge、Cosmos 3 Nano 和 Cosmos 3 Super 现已在 Hugging Face 上发布，其推理和后训练框架及方法已在 GitHub 上提供。
简化 AI 智能体：使用 NVIDIA Agent Toolkit 在 DGX Station 上本地构建和运行个人 AI 智能体
超级智能体已经登陆桌面端。NVIDIA DGX Station 是 AI 时代的台式超级计算机，借助 NVIDIA Agent Toolkit，只需三个步骤即可完成设置，系统大约在 30 分钟内即可投入运行。
在 DGX Station 上，NVIDIA Agent Toolkit 将 NVIDIA NemoClaw、NVIDIA Nemotron 3 Ultra 开放模型、作为智能体可访问工具和技能的 NVIDIA Omniverse 库，以及一个安全运行时集成于单个本地系统中 —— 而无需互联网连接。随着工作负载的扩展，开发者可以将多个系统连接在一起，为并发用户、更多智能体和更大的模型提供服务。
这使创意者和工程师能够自主拥有专属的智能能力，并通过一套随时可在本地运行的系统。全栈的模型、智能体和工具 —— 为创建和运行特定领域的“超级智能体”提供了一个平台，这些智能体可根据用户自己的数据和知识进行定制。
DGX Station 上开放的 NVIDIA Agent Toolkit 软件栈包括：
- NVIDIA NemoClaw：用于构建自定义自主智能体的开放蓝图，将模型、Harness 和运行时打包在一起，作为团队构建专用、特定领域智能体起点。
- NVIDIA Nemotron 3 Ultra：一款拥有 5,500 亿参数的开放模型，经过优化可在 DGX Station Grace Blackwell Ultra 系统上运行，并作为模型层供团队根据自身领域进行定制。
- NVIDIA Omniverse 库：将智能体技能扩展至物理仿真和 3D 资产工作流中，为创意和工程专业人员提供远超通用智能体功能的工具。
- NVIDIA OpenShell：这是一个开源安全运行时，它将智能体置于沙盒中，并根据既定策略对智能体与工具、系统和数据的交互方式进行管理。
- NVIDIA Grace Blackwell Ultra 桌面超级芯片：可在 DGX Station 上提供数据中心级桌面性能，具备高达 20 PFLOPS 的 FP4 AI 计算能力和 748GB 的一致性内存，可运行像 Nemotron Ultra 这样的大型模型。
- NVIDIA ConnectX-8 SuperNIC 在 DGX Station 中提供高达 800GB/s 的带宽，可提供极速、高效的网络连接，并支持连接至多两台 DGX Station，以进一步扩展模型容量和性能。
规模化发挥 Harness 能效
对于大规模运行智能体的团队来说，DGX Station 从根本上改变了经济效益。Nemotron 3 Ultra 针对开放 Harness 提供了领先的性能，且在购买硬件后无需支付每 Token 成本，因此用户只需构建一次，即可按需运行。
NVIDIA 已发布在 Blender 中集成 NVIDIA Omniverse 库的蓝图 —— 为 NemoClaw 智能体提供了可调用的 RTX 传感器仿真和物理工具，从而为物理 AI 工作流准备 3D 场景。
在 DGX Station 上，设计师和工程师可以在一台设备中运行该工作流的核心组件 —— 前沿模型、开放 Harness、安全运行时、3D 工具 —— 所有这些组件都相互链接，并通过开放蓝图连接和部署。
前沿模型可将 NemoClaw 作为专用子智能体进行编排，将特定领域的工作委托给在 DGX Station 上本地运行的智能体，并直接访问 Omniverse 工具和 Blender。
LangChain 针对 Nemotron 3 Ultra 对其 Deep Agents Harness 进行了微调，为设计师和工程师提供了面向生产的路径，以较低的成本实现基准测试领先的智能体性能。
Nous Research 针对其 Hermes Agent Harness 对 Nemotron 3 Ultra 进行了微调，并将其应用于生产工作负载 —— 直接证明了拥有专属智能的价值。针对开发者技术栈调优模型，可打造出在特定领域中速度更快、能力更强的智能体。Hermes Agent 还将 Blender 添加到其模型上下文协议 (MCP) 目录中，使团队能够直接从其智能体中激活 Blender —— 这是一个可以在 DGX Station 上运行且能够使用工具的 NemoClaw 智能体的生动示例。
对于运行 OpenClaw 的团队来说，这一技术栈扩展了可能性 —— 它将 Nemotron 3 Ultra、Omniverse 工具和 DGX Station 上的本地推理整合至一个环境中，让 OpenClaw 中持久且长时间运行的智能体可以持续对其进行操作。