在 SIGGRAPH 大会上，NVIDIA 高管发表的简短的特别演讲令我们大开眼界，其中不仅描述了推动图形新时代发展的力量，还介绍了该公司一直致力于扩展新工具并为加速图形技术发展不遗余力。
NVIDIA 创始人兼首席执行官黄仁勋在为时 45 分钟的演讲中谈到：“元宇宙是互联网的再次演进，而 AI 和计算机图形技术的结合将为元宇宙提供动力”。
它将成为互联虚拟世界和数字孪生的枢纽，
成为工作和娱乐的心选之地。黄仁勋还表示，数字人虚拟形象将成为未来广受欢迎的机器人形式之一，将为这个领域注入更多生机与活力。
通过 45 个演示和幻灯片，5 位 NVIDIA 演讲者发布了如下公告：
- NVIDIA Omniverse Avatar Cloud Engine (ACE)，用于创建虚拟形象的新平台。
- 构建 Universal Scene Description (USD) 的计划，USD 是元宇宙的语言。
- 对 NVIDIA Omniverse（用于创建虚拟世界和数字孪生的计算平台）的主要扩展。
- 利用机器学习为图形工作流提供强效助力的工具。
他谈到，“我们今天发布的公告进一步推动了元宇宙的发展，这是一个新的计算平台，具有新的编程模型、架构和标准。”
元宇宙应用已应运而生。
黄仁勋指出，“用户可以尝试使用增强现实的虚拟 3D 产品，电信公司正在创建其无线电网络的数字孪生来优化和部署无线电塔[以及]许多公司都在创建仓库和工厂的数字孪生以优化其布局和物流。”
输入虚拟形象
元宇宙的世界离不开虚拟助手，我们与虚拟形象的互动将像与另一个人交谈一样自然。他们将在数字工厂工作，玩在线游戏，并为电子零售商提供客户服务。
黄仁勋说，“虚拟形象在 Omniverse 中进行设计、训练和操作，会成为广泛使用的机器人之一，数目将增长至数十亿个”。
数字人和虚拟形象需要自然语言处理、计算机视觉、复杂的面部和身体动画等技术。为了以逼真的方式移动和说话，这套复杂的技术必须同步到毫秒。
尽管非常艰巨，NVIDIA 仍致力于通过 Omniverse Avatar Cloud Engine 简化和加速这项工作。ACE 是基于 NVIDIA 工作构建的一系列 AI 模型和服务集合，涵盖从对话式 AI 到 Audio2Face 和 Audio2Emotion 等动画工具的所有内容。
说明：虚拟形象需要许多复杂的功能。
NVIDIA 图形和 AI 总监 Simon Yuen 表示，“借助 Omniverse ACE，开发者可以在任何公有云或私有云中，在任何引擎中构建、配置和部署其虚拟形象应用。” “我们希望为每个平台构建交互式虚拟形象。”
ACE 将于明年初推出，可在嵌入式系统和所有主要云服务中运行。
Yuen 还展示了新版 Omniverse Audio2Face，这是一种可以直接通过声音创建面部动画的 AI 模型。
他谈到，“我们刚刚添加了更多功能来分析您的情绪，并自动将您的情绪传递给虚拟形象。”
未来版本的 Audio2Face 只需一张照片即可创建虚拟形象，自动应用纹理并生成动画就绪型 3D 网格。它们将对肌肉运动进行高保真模拟，AI 可以通过观看视频来汲取经验。生成的头发不仅效果逼真，还会对虚拟梳理做出预期的反应。
USD 是 3D 互联网的基础
元宇宙的许多超能力都以 USD 为基础，而 USD 是 3D 互联网的基础。
NVIDIA Omniverse 和模拟技术副总裁 Rev Lebaredian 表示，元宇宙“需要一种标准的方式来描述 3D 世界中的所有事物”。
将 USD 与 2D 网络中的 HTML 比较时，他补充道，“我们认为，Pixar 发明和开源的 Universal Scene Description 是互联网新时代的标准场景描述”。
Lebaredian 将 NVIDIA 对 USD 的愿景描述为创造比现实世界中更多机遇的关键。
他说：“我们的下一个里程碑旨在使 USD 在实时、大规模虚拟世界和工业数字孪生方面发挥卓越性能。”NVIDIA 计划帮助 USD 为构建国际字符集、地理空间坐标以及物联网数据的实时串流提供支持。
说明：NVIDIA 计划投资 USD 的示例
为进一步加速 USD 的采用，NVIDIA 将发布 USD 兼容性测试和认证套件。它可让开发者了解其自定义 USD 组件会产生预期结果。
此外，NVIDIA 还发布了一组模拟就绪型 USD 素材，专为工业数字孪生和 AI 训练工作流而设计。他们加入了大量的免费线上 USD 资源，包括 USD 就绪型场景、点播教程、文档和讲师指导式课程。
Lebaredian 表示，“我们希望每个人都能为构建和推进 USD 发展贡献一己之力。”
Omniverse 扩展调色板
对 NVIDIA Omniverse 的主要新版本的公告是特别演讲的重要内容之一，其下载量已达 18.4 万次。
黄仁勋将 Omniverse 称为“一个 USD 平台、是构建元宇宙应用的工具包，以及运行虚拟世界的计算引擎。”
其新版本包含多项升级的核心技术，并支持与更多热门工具连接。
这些名为 Omniverse Connector 的链路现已面向 Unity、Blender、Autodesk Alias、Siemens JT、SimScale、Open Geospatial Consortium 等进行开发。连接器现已推出测试版，适用于 PTC Creo、Visual Components 和 SideFX Houdini。Siemens Xcelerator 现已成为 Omniverse 网络的一部分，这些新开发的加入使队伍更加壮大，将携手迎接更多工业客户进入数字孪生时代。
NVIDIA 专业图形副总裁 Steve Parker 表示，“Omniverse 与互联网本身一样，是一个由网络组成的‘网络’，可连接各行各业和各学科的用户。”
说明：NVIDIA Omniverse 新功能的示例。
近十几个合作伙伴将在 SIGGRAPH 上展示 Omniverse 功能，包括硬件、软件和云服务供应商，例如 AWS、Adobe、戴尔、Epic 和微软。六家合作伙伴将就 AI 和虚拟世界等主题举办会议，将由 NVIDIA 提供支持。
加快物理速度，创建动物动画
Parker 详细介绍了 Omniverse 中的多项技术升级，涵盖了使用材质定义语言 (MDL) 模拟物理属性准确的材质、使用 PhysX 的实时物理，以及 RTX（即混合渲染和 AI 系统）等增强功能。
Parker 认为，“从边缘到云端，这些核心技术支柱都由 NVIDIA 高性能计算提供支持。”
例如，PhysX 现在支持软体和粒子布料仿真，可实时为虚拟世界带来更高的物理精度。并且，NVIDIA 完全开源 MDL，因此可以轻松支持 OpenGL 或 Vulkan 等图形 API 标准，从而使开发人员可以更广泛地使用材料标准。
Omniverse 还将包括 NVIDIA Research 开发的结合了 RTX 图形和 AI 的神经图形功能。例如：
- 动物建模师允许艺术家可以使用激光点云迭代动物的形状，然后自动生成 3D 网格。
- GauGAN360 是 NVIDIA GauGAN 的下一代次演进，可生成 8K 360 度全景图并轻松加载到 Omniverse 场景中。
- Instant NeRF 根据 2D 影像创建 3D 对象和场景。
机器学习框架 NVIDIA Modulus 的 Omniverse Extension 将让开发人员使用 AI 将现实世界物理的模拟速度提高 10 万倍，因此元宇宙的外观和感觉就像现实世界一样。
此外，Omniverse Machinima 作为 SIGGRAPH 大会主题的激烈竞赛主题，竞技内容来源于战争附言 (Post Scriptum)”、“Beyond the Wire”和“影子武士 3 (Shadow Warrior 3)”，以及新的 AI 动画工具，如 Audio2Gesture。
Industrial Light & Magic 的演示展示了另一项新功能。Omniverse DeepSearch 利用 AI 帮助团队直观地搜索未标记资产的大型数据库，即使未在元数据中具体列出，也能为术语提供准确的结果。
图形变得智能
新兴元宇宙的重要支柱之一即为神经图形。这是一个混合学科，可利用神经网络模型加速和增强计算机图形。
NVIDIA AI 副总裁 Sanja Fidler 认为：“神经图形将 AI 和图形融合在一起，为打造能够从数据中学习的未来图形管线铺平了道路。” 她补充道，“最终，神经图形将重新定义用户创建、模拟和体验虚拟世界的原理。”
AI 将帮助艺术家生成创建元宇宙所需的大量 3D 内容。例如，他们可以使用神经图形快速捕获现实世界中的对象和行为。
Fidler 介绍了用于实现这一目的的 NVIDIA 软件 Instant NeRF，这是一个利用 2D 图像创建 3D 对象或场景的工具。这是 NVIDIA 在 SIGGRAPH 大会上荣获的两项最佳论文奖之一的主题。
另一篇获奖的最佳论文介绍了神经图形，该模型可以预测并减少电竞和 AR/VR 应用中的反应延迟。包含这两篇最佳论文在内，NVIDIA 研究人员在本周的 SIGGRAPH 大会上共发表了 16 篇论文。
说明：神经图形将 AI 融入图形管线。
设计师和研究人员可以应用神经图形和其他技术，使用 NVIDIA 在大会上推出的全新软件开发套件来创作自己的竞奖作品。
Fidler 介绍了其中一套工具 Kaolin Wisp，只需几行代码即可创建神经场（即，表示 3D 场景或对象的 AI 模型）。
另外，NVIDIA 还发布了 NeuralVDB，这是开源标准 OpenVDB 的下一代演进版本，用于模拟和渲染水、火、烟雾和云，从视觉效果到科学计算等各领域均在使用。
NeuralVDB 使用神经模型和 GPU 优化显著降低内存要求，以便用户能够实时与极其复杂的超大型数据集进行交互，并更高效地共享这些数据集。
黄仁勋认为，“AI 是我们这个时代强大的技术力量之一，它将彻底改变计算机科学的各个领域，包括计算机图形学，而 NVIDIA RTX 是神经图形学的引擎。”请在 SIGGRAPH 活动网站观看完整的 NVIDIA 特别演讲，其中还包括实验、演示文稿和纪录片首映的详细信息。