Omniverse 创作者使用 AI 创建具有歌唱功能的数字人场景

作者 Angie Lee
Omniverse 创作者使用 AI 创建具有歌唱功能的数字人场景

通过使用 NVIDIA Omniverse、Audio2Face 应用和 Epic Games 的虚幻引擎,3D 多面手和视频剪辑师加快了创建逼真数字人场景的工作流程。

编者按:本篇文章是系列文章之一,该系列文章介绍了使用 NVIDIA Omniverse 来改进其艺术创作流程的各位创作者和开发者。


A headshot of Anderson Rohr
Anderson Rohr

灵感的来源难以追寻,其指引的方向也无法预知。

Anderson Rohr 是一名身处巴西南部的 3D 多面手和自由视频剪辑师。十几年来,他一直在创作各种内容,从婚礼视频到电影动画,不一而足。

在看到某位创作者使用 NVIDIA Omniverse 和由 AI 驱动的 Audio2Face 应用为一个科幻人物的脸部制作动画并配上声音后,Rohr 表示迫不及待地想要使用这项技术。

最终,Rohr 制作了声音恐怖的《Bad Moon Rising》(20 世纪 60 年代克里登斯清水复兴合唱团 (Credence Clearwater Revival) 的曲目),并配上了使用自己声音进行的翻唱。

为了制作这段视频,Rohr 使用了搭载 GeForce RTX 3090 GPUNVIDIA Studio 系统。

Rohr 的艺术创作过程

在制作这个项目的过程中,Rohr 首先录制了自己的歌声,然后在 Audio2Face 中打开该文件。

Audio2Face 应用在 Omniverse 中通过 NVIDIA AI 技术构建而成,只需一个旁白音轨或任何其他音源,就能立即为数字人生成富有表现力的面部动画。

然后,Rohr 手动为角色的眼睛、眉毛和脖子制作动画,并对场景的照明进行调整。

Rohr 表示:“NVIDIA Omniverse 能够帮助我为数字人制作更自然的效果并加快工作流程,让我可以将更多时间用于创作。”

在使用 Omniverse 之前,Rohr 花在某些动画的渲染上的时间就长达 300 小时。同时,Rohr 还面临着软件不兼容的问题,他表示这进一步减慢了他的工作速度。

现在,凭借 Omniverse 及其用于各种软件应用的连接器,Rohr 可以实时完成渲染。

“Omniverse 远远超出我的预期,而且没有扰乱我的工作节奏,”他说道,“我经常使用它,我希望我所创作的作品能够启发大家在虚拟制作、游戏、电影场景或任何其他创作项目中达到实时效果。”

借助 Omniverse,NVIDIA Studio 创作者可以使用经过优化的 RTX 加速硬件和软件驱动,以及先进的 AI 和仿真功能,为艺术创作锦上添花。

Rohr 在视频中详细介绍了他如何使用 NVIDIA Omniverse 进行工作: