NVIDIA 为虚拟世界的创作者和开发者推出功能强大的 AI、仿真和创意工具

by haiman zheng

在全球最大的计算机图形盛会 SIGGRAPH 上,NVIDIA 宣布要为使用实时 3D 设计协作和世界仿真平台 NVIDIA Omniverse 的创作者和开发者推出几项重大更新。

下一波 Omniverse 世界即将转移至云端;Omniverse KitNucleusAudio2Face 将引入新功能;Machinima 应用让用户能够更好地构建逼真的虚拟形象,并重新定义虚拟世界的构建与体验方式。

各行各业的个人和企业组织均可借助 Omniverse 大幅加速复杂的 3D 图形工作流。无论是工程师、研究人员、动画师还是设计师,世界各地的 Omniverse 用户都通过使用该平台的核心渲染、物理和 AI 技术,创建了广阔的虚拟世界和高真实度仿真。

Omniverse 社区需使用支持 NVIDIA RTX 的 Studio 设计本、工作站和 OVX 服务器进入 Omniverse 平台门户,而随着 Omniverse 转移至云端,用户现可使用 Mac 和 Chromebook 等非 RTX 系统借助 Omniverse 实现虚拟办公。

此外,今天推出的 NVIDIA Omniverse Avatar Cloud Engine (ACE) 以及新的 Omniverse 连接器和应用让用户能够轻松构建和自定义虚拟助理和数字人。

为 3D 虚拟世界带来真实世界的实时准确性

Omniverse 用户可以通过 OmniLive 增强 USD 工作流中的交互性和灵活性。OmniLive 是一项重大开发,可为通过连接第三方应用进行协作的工作者提供速度更快、性能更优秀的非破坏性实时工作流。

实时图层让用户得以了解同一会话中有哪些其他成员,因此团队可以轻松分配所有权,并可轻松保存、解散和暂停协作会话。OmniLive 还支持自定义版本 USD 的无缝实时同步,使 Omniverse 连接器更易于开发。

Omniverse 用户还可以通过 NVIDIA PhysX(一种用于逼真物理仿真的高级实时引擎)的最新更新来体验下一波 AI 和工业仿真浪潮。

借助 NVIDIA PhysX 更新,Omniverse 用户可构建出一些先进的物理求解器,从而创建符合物理定律的 3D 虚拟世界。NVIDIA PhysX 的新功能包括可扩展的有向距离场 (SDF) 仿真、软体仿真、用于布料效果处理的粒子布料仿真和软接触模型。

Omniverse Kit 的其他更新包括:

  • 生成合成数据方面的改进。这包括改进的内容库(添加了更多素材),用以助力准备训练场景。此外,还增加了更多 USD 和 SimReady 素材。
  • Viewport 2.0。此全新可扩展视窗适用于所有基于 Omniverse Kit 的应用。借助 Viewport 2.0,用户可以创建自定义用户界面,并同时使用多个视窗窗口。
  • 对布局工具的改进。这让用户能够在视窗中更好地操控内容。用户可以执行对齐、捕捉和随机化操作并使用其他功能,从而快速布置大量内容,以便为阶段生成流程带来更大提升。
  • 全新查看工具。这让用户能够在协作会话期间衡量发生的变化并将其传达给团队成员。
  • 对 ActionGraph 的改进。全新 Direct-in-Viewport 按钮和其他改进让用户可以仅使用 Action Graph 图就能直接在自己的视窗中构建配置器。

Omniverse 借助全新连接器和 3D 素材实现扩展

Omniverse 现在包含全新的可定制视窗、改进的用户界面、增强的审查工具及 Omniverse 免费 3D 素材库的主要版本。用户可以使用多个免费的 USD 场景和内容包,从而以更快的速度构建虚拟世界。

此外,NVIDIA 正在开发多个全新 Omniverse 连接器,包括 Autodesk AliasAutodesk Civil 3DBlenderOpen Geospatial ConsortiumSiemens JTSimScaleUnity。现已推出的全新测试版连接器包括 PTC CreoSideFX HoudiniVisual Components

此外,合作伙伴也在不断发布 Omniverse 就绪型连接的新更新,包括:

  • Maxon 公司的 Redshift Hydra Renderer 以及 OTOY 公司的 OctaneRender Hydra 的插件和 Omniverse 连接器,可让艺术家和设计师直接在 Omniverse 中使用其惯用渲染器。
  • Ipolog 的衍生产品 SyncTwin,可提供一套基于 Omniverse 构建的全新工具和服务,从而推动工业数字孪生的发展。
  • Prevu3D,这是一种可将 3D 激光点云转换为用于数字孪生的高质量交互式网格的解决方案,现已支持 USD,可在 Omniverse 中为工作流提供支持。
  • Lightning AI,已用于构建一款使用 Omniverse Replicator 生成合成数据的机器学习应用。

借助 AI 将动画和虚拟形象提升至更高水平

借助 AI,Omniverse 用户可以通过逼真的面部特征和动作快速打造 3D 角色。

通过 Omniverse Audio2Face 应用,创作者只需为动画匹配任意配音音轨,即可轻松制作 3D 角色的面部动画。Audio2Face 由特定 AI 模型提供支持,该模型仅根据声音即可创建面部动画。而借助 Audio2Face 的最新更新,用户现可逐步引导虚拟形象的情绪。这意味着创作者可轻松混合快乐、惊奇、愤怒和悲伤等关键情绪。

Audio2Face 的其他更新包括:

  • Audio2Emotion。这是一项新功能,让能够从音频片段中推断情感的 AI 自动为面部动画设置关键帧,从而控制虚拟形象的情感表达。
  • 全脸动画。这让 Omniverse 用户除了能够管理虚拟形象的皮肤以外,还可以对其眼睛、牙齿和舌头的运动进行管理,以便制作更完整的面部动画。
  • 角色设置。角色转换重定向工具现可支持全脸动画,并提供易于使用的工具,用于定义构成眼睛、牙齿和舌头的网格。

Omniverse Machinima 的功能也在不断扩展。Machinima 应用的最新更新包括序列器 (Sequencer) 与 Audio2Face 和 Audio2Gesture 的集成,这让用户能够更轻松地播放和编辑由 AI 驱动的角色表演。结合对姿态追踪器 (Pose Tracker) 的改进,此次更新让用户能够直接在单个应用中驱动完整的角色表演。

Omniverse Machinima 还包含来自“战争附言 (Post Scriptum)”、“Beyond the Wire”和“影子武士 3 (Shadow Warrior 3)”的新内容,可为 #MadeinMachinima 竞赛的合作伙伴提供支持。

最后,Omniverse DeepSearch 现已向 Omniverse Enterprise 客户推出。这使得团队能够利用 AI 的强大功能直观地搜索未标记素材的大型数据库。DeepSearch 可让用户输入定性或模糊的条件进行搜索,并可提供准确结果,从而帮助创作者为其虚拟场景开发理想的外观和光照效果。

了解知名工作室 ILM 如何使用 DeepSearch 打造绝美天空:

开发由 AI 驱动的逼真数字人

Omniverse ACE 现已在 SIGGRAPH 大会上推出,这是一系列基于云的 AI 模型和服务,可让开发者轻松构建虚拟形象。

它包含 NVIDIA 的虚拟形象技术,这涵盖视觉和语音 AI、自然语言处理、Audio2Face 以及 Audio2Emotion。上述所有技术均在云端以 API 的形式运行。

借助 Omniverse ACE,开发者可以在任何公有云或私有云中,在几乎所有引擎上构建、配置和部署其虚拟形象应用。

为创造更多虚拟世界奠定更坚实的基础

Omniverse Nucleus 是 Omniverse 的数据库和协作引擎。它让各种客户端应用、渲染器和微服务能够共享和修改虚拟世界的表现形式。

Nucleus 的重大更新之一是全新的无外设单点登录授权,这意味着用户现在无需访问用户界面进行登录,即可对工具进行写入并执行任务。

Omniverse Nucleus 的其他更新包括:

  • Nucleus Navigator。这是一款用于内容导航和管理的应用,其搜索功能现已得到改进,且支持适用于 Omniverse Enterprise 的 NGSearch 和 DeepSearch 服务。
  • Nucleus 缓存。这类服务可用于优化数据传输,现已完成问题修复并获得了性能提升。

查看 Omniverse 的实际应用

我们的合作伙伴将在 SIGGRAPH 大会上展示 Omniverse 的最新功能。这些合作伙伴包括 Adobe、Amazon Web Services (AWS) 和微软等软件和云服务供应商。

戴尔和惠普等合作伙伴还将在展厅内展示支持 RTX 的 NVIDIA 认证系统的强大功能,这些系统将以本地部署或混合部署的方式运行 Omniverse。

华硕正与以动画和虚拟制作而闻名的中国台湾视觉效果公司梦想动画 (MoonShine) 合作。在 SIGGRAPH 大会上,华硕和 MoonShine 将展示他们最全面的虚拟制作解决方案,该解决方案由 NVIDIA Omniverse 提供强效助力。

观看下方视频,了解如何借助华硕创作者解决方案和 Omniverse 来增强行业级制作流程。

其他合作伙伴将就 AI 和虚拟世界等主题进行演讲。请查看 SIGGRAPH 大会上 NVIDIA 参与的所有会议,详细了解这些突破性技术。

NVIDIA Omniverse 可供用户免费使用。立即下载即可开始创作。

与 NVIDIA 一起参加 SIGGRAPH 大会,详细了解 Omniverse 的最新公告,观看 NVIDIA 的特别演讲,并于北京时间 8 月 11 日(星期四)凌晨 1 点观看纪录片《协作的艺术:NVIDIA、Omniverse 和 GTC》(The Art of Collaboration: NVIDIA, Omniverse and GTC) 的全球首映。