新的 NVIDIA 数字人技术提升各行业客户交互体验

最新升级的 NVIDIA ACE 和 Maxine 利用生成式 AI 为客户服务创建栩栩如生的数字人
作者 Ike Nnoli

生成式 AI 为企业通过虚拟数字人物与客户互动开辟了新途径。

SIGGRAPH 大会上,NVIDIA 预览了一款名为 “James” 的交互式数字人,该角色能够与人类互动,并展现出情感与幽默。James 是基于使用 NVIDIA ACE 技术的客户服务工作流而开发,NVIDIA ACE 技术是一种用于创建自定义、超现实、交互式虚拟形象的参考设计。用户很快便能通过访问 ai.nvidia.com,与 James 展开实时互动。

NVIDIA 还在 SIGGRAPH 大会上展示了 NVIDIA Maxine AI 平台的最新成果,包括可提供沉浸式远程呈现体验的 Maxine 3D 和 Audio2Face-2D。

开发者可利用 Maxine 和 NVIDIA ACE 数字人技术,让客户与数字界面的交互更加生动自然。ACE技术能够利用人工智能模型开发数字人,包括数字人的语音和翻译、视觉、智能、逼真的动作和行为,以及逼真的外观。这些技术使数字人能够以前所未有的方式与用户互动,提供更加自然和引人入胜的体验。

各行业的公司都在使用 Maxine 和 ACE 技术来提供沉浸式的虚拟客户体验。

认识一下数字品牌大使 James

James 是一款依托于 NVIDIA NIM 微服务打造的虚拟助手,能够根据上下文做出准确的响应。

利用检索增强生成 (RAG) 功能,James 可以准确地向用户介绍最新的 NVIDIA 技术。ACE 允许开发者使用他们的数据来创建特定领域的虚拟形象,向客户传达相关信息。

James 由最新的 NVIDIA RTX 渲染技术打造,可实现高级、逼真的动画效果。他的自然的声音由 ElevenLabs 提供技术支持。NVIDIA ACE 允许开发者在构建适用于不同使用场景的虚拟形象时,自定义动画、语音和语言。

NVIDIA Maxine 增强数字人的远程呈现

Maxine 是一款用于部署先进 AI 功能的平台,这些功能提升了数字人的音频和视频质量,同时该平台支持通过视频会议设备使用实时、逼真的 2D 和 3D 虚拟形象。

Maxine 3D 将 2D 视频肖像输入转换为 3D 虚拟形象,可在视频会议和其他双向通信应用中集成高度逼真的数字人。这项技术不久后将推出抢先体验版。

Audio2Face-2D 目前处于抢先体验阶段,可根据音频输入为静态肖像制作动画,通过单张图像创造出动态、会说话的数字人。您可通过访问 ai.nvidia.com 来体验这项技术。

拥抱数字人应用的企业

HTC、Looking Glass、Reply 和 UneeQ 等都是最新在广泛的应用场景中采用了 NVIDIA ACE 和 Maxine 技术的公司,包括客户服务代理和娱乐、零售以及酒店行业的远程呈现体验。

在 SIGGRAPH 大会上,数字人技术开发者 UneeQ 展示了两项新的技术演示。

首先,云渲染的数字人由 NVIDIA GPU 赋能,结合本地浏览器内计算机视觉,增强可扩展性和隐私保护,并使用 Audio2Face-3D NVIDIA NIM 微服务进行动画制作。这种技术不仅提高了数字人类的真实感,还通过本地处理增强了用户的隐私保护,同时确保了无缝的互动体验。

UneeQ 的 Synapse 技术处理匿名用户数据,并将其输入到大语言模型 (LLM) 之中,以实现更准确、响应更灵敏的交互。

第二个演示在一台搭载 NVIDIA RTX GPU 的笔记本电脑上运行,展示了一个由 Gemma 7B LLM、RAG 和 NVIDIA Audio2Face-3D NIM 微服务赋能的高级数字人。

这两个演示都展示了 UneeQ 在 NVIDIA 技术支持下的数字人开发尝试,这些数字人能够对用户的面部表情和动作做出反应,拓展了虚拟客户服务体验的逼真度边界。

HTC Viverse 已将 Audio2Face-3D NVIDIA NIM 微服务集成到其 VIVERSE AI 代理中,用于动态面部动画和唇部同步,以实现更自然和更加沉浸式的用户交互。

Hologram 技术公司在 SIGGRAPH 的 Looking Glass‘s Magic Mirror 演示使用简单的摄像头设置和 Maxine 的高级 3D AI 能力,实时生成用户脸部的全息影像并显示在 Looking Glass 16 英寸和32英寸的空间显示屏上供多人观看。

Reply 推出了一款增强版的 Futura,这是其为 Costa Crociere 的 Costa Smeralda 游轮开发的尖端数字人。在 Audio2Face-3D NVIDIA NIMRiva ASR NIM 微服务的支持下,Futura 的语音合成功能利用了包括 GPT-4o、用于 RAG 的 LlamaIndex 和 Microsoft Azure 文本转语音服务等先进技术。

Futura 还结合了 Reply 专有的情感计算技术,以及 Hume AI 和 MorphCast,用于全面的情感识别。Futura 使用 Unreal Engine 5.4.3 和 MetaHuman Creator 搭建,并配置了 NVIDIA ACE 技术提供的面部动画,支持六种语言。该智能助手可以帮助做出个性化的端口访问计划,提出定制化的行程建议,并协助旅游预订。

此外,Futura 还会根据客人的反馈意见完善推荐,并使用专门创建的知识库提供丰富的城市介绍,从而改进旅游计划。Futura 旨在提升客户服务体验,在现实场景中提供沉浸式互动,以简化运营并推动业务增长。

了解更多有关 NVIDIA ACENVIDIA Maxine 的信息。

观看 NVIDIA 创始人兼首席执行官黄仁勋在 SIGGRAPH 大会上的炉边谈话,了解加速计算和生成式 AI 是在如何改变各行各业,并为创新带来新的机遇。

请参见有关软件产品信息的公告