使用 NVIDIA Omniverse ACE 来构建 AI 虚拟形象

Omniverse Avatar Cloud Engine现已供抢先体验,可用于进行交互式虚拟形象的自定义和部署。
作者 英伟达中国

构建虚拟形象和虚拟助手的开发者和团队现可注册加入 NVIDIA Omniverse Avatar Cloud Engine(ACE)抢先体验计划。这是一套云原生 AI 微服务,可助力更轻松地大规模构建和部署智能虚拟助手和数字人。

Omniverse ACE 能够简化虚拟形象的开发,提供为任何虚拟形象添加智能和动画所必需的 AI 构建模块,可构建于几乎任何引擎上,并部署于任何云端。这些 AI 助手面向各行各业,可助力组织增强当前工作流,并解锁新的商机。

ACE 是数种生成式 AI 应用程序之一,可助力创作者加速 3D 世界和元宇宙的开发。加入该计划的成员将获得 NVIDIA AI 微服务预发布版本的访问权限,以及为交互式虚拟形象应用程序开发云原生 AI 工作流所需的工具和文档。

借助 Omniverse ACE,打造栩栩如生的交互式 AI 虚拟形象

虚拟形象的开发通常需要专业知识、专用设备和人工密集型工作流。为简化虚拟形象的创建,Omniverse ACE 使 NVIDIA 的 AI 技术(包括预构建模型、工具集和特定领域的参考应用程序)能够无缝集成到基于大多数引擎构建并部署在公共或私有云上的虚拟形象应用程序中。

自 9 月推出以来,Omniverse ACE 已被分享至选定的合作伙伴以获取早期反馈。现在,NVIDIA 正在寻找更多合作伙伴,期待他们提供有关微服务的反馈,合作改进产品,并在逼真的交互式数字人方面突破创新。

抢先体验计划包括访问 ACE 动画 AI 和对话式 AI 微服务的预发布版本,包括:

  • 3D 动画 AI 微服务:用于第三方虚拟形象,使用 Omniverse Audio2Face 生成式 AI,仅基于音频文件来创建逼真的面部动画,使虚幻引擎和其他渲染工具中的角色能够栩栩如生。
  • 2D 动画 AI 微服务:名为 Live Portrait,可使用实时视频源,轻松制作 2D 肖像或风格化人脸动画。
  • 文本转语音微服务:使用 NVIDIA Riva TTS,基于原始转录文字,无需任何额外信息(例如语音模式或节奏),即能合成听起来自然的语音。

该计划的成员还将获得工具、示例参考应用程序和支持资源的访问权限,这些将有助于成员着手启动。

虚拟形象在各行各业得以应用

Omniverse ACE 可助力团队构建交互式数字人,提升各行各业的体验,提供:

  • 简单的角色动画:使用户只需很少的专业知识,就能打造出栩栩如生的角色动画。
  • 云端部署的能力:意味着虚拟形象几乎可在任何地点使用,例如快餐店售货亭、平板电脑或 VR 头显。
  • 基于 NVIDIA 统一计算框架(UCF)构建的即插即用套件:可实现 NVIDIA AI 与其他解决方案之间的互操作性,确保最先进的 AI 能够适用于所有用例。

Ready Player Me 和 Epic Games 等合作伙伴体验了 Omniverse ACE 如何增强 AI 虚拟形象的工作流。

Omniverse ACE 动画 AI 微服务支持来自 Ready Player Me 的 3D 角色,这是一个用于构建跨游戏虚拟形象的平台。

Ready Player Me 首席执行官兼联合创始人 Timmu Tõke 表示:“数字虚拟形象正在成为我们日常生活的重要组成部分。人们在游戏、虚拟活动和社交应用程序中会使用虚拟形象,甚至会将其作为进入元宇宙的一种方式。我们花了七年时间,构建了完美的虚拟形象系统,让开发者能够轻松地集成到自己的应用程序和游戏中,并让用户能够创建一个虚拟形象来探索不同的世界。如今,借助 NVIDIA Omniverse ACE,团队能够更轻松地让这些角色看起来栩栩如生。”

Epic Games 先进的 MetaHuman 技术改变了逼真、高保真数字人的创建。Omniverse ACE 与 MetaHuman 框架相结合,将使用户能够更轻松地设计和部署引人入胜的 3D 虚拟形象。

数字人不仅可以具有对话能力,也可以成为歌手,就像 AI 虚拟形象 Toy Jensen(简称 TJ)一样。NVIDIA 的创意团队迅速创作了一个 TJ 演唱《铃儿响叮当》的动画视频,使用 Omniverse ACE 来提取歌手的声音,并将其转换为 TJ 的声音。 这使虚拟形象能够以与原始艺术家相同的音高和节奏来演唱。

许多创作者正在尝试 VTubing,这是一种新的直播方式,用户以 2D 虚拟形象出镜并与观众互动。借助 Omniverse ACE,创作者可以将虚拟形象从 2D 动画转换为 3D,包括照片和风格化的头像。用户可从云端渲染虚拟形象,在任何地点都能为角色制作动画。

此外,NVIDIA Tokkio 参考应用程序正在扩展,早期合作伙伴正在为电信、银行等行业构建云原生客服虚拟形象。

加入抢先体验计划

构建虚拟形象和虚拟助手的开发者和团队可抢先体验 Omniverse ACE。

观看 NVIDIA 在 CES 上的特别演讲。进一步了解 NVIDIA Omniverse ACE 并注册加入抢先体验计划。