NVIDIA Riva 让构建最先进对话式AI服务变得更简单

从客户支持到实时转录,全新应用框架助力构建实现各类定制化语言型AI服务
by charank

加利福尼亚州圣克拉拉市 – GTC 2020大会 – 2020年5月14日 – NVIDIA于今日发布推出GPU加速的应用框架——NVIDIA Riva。该框架使企业能够根据自身所处行业、产品和客户的特点,使用视频和语音数据构建最为先进的定制化对话式AI服务。

随着居家办公、远程医疗和远程学习的快速兴起,对于能够保持人们工作效率和联系的客户支持、实时转录、视频通话摘要等定制化语言型AI服务的需求也随之激增。

首批采用 Riva 为客户提供对话式AI产品和服务的公司包括Voca、Kensho和Square。Voca是一家为呼叫中心提供AI代理的公司;Kensho致力于为金融和商务行业提供自动语音转录服务;此外,还有Square,其开发了虚拟预约助理。

NVIDIA创始人兼首席执行官黄仁勋表示:“随着应用程序具备了通过感知细微差别和上下文来理解和交流的能力,对话式AI将成为未来许多行业的关键核心。NVIDIA Riva 能够帮助医疗、金融服务、教育和零售行业以快速和准确的方式为他们的客户提供自动化的支持服务。”

基于Riva 构建的应用程序可以应用全新NVIDIA A100 Tensor Core GPU中的各项创新技术进行AI计算,并使用NVIDIA TensorRT™的最新优化进行推理。现在,使用最强大的视觉和语音模型运行整个多模态应用已成为可能,而且其速度比实时交互所需的300毫秒阈值还要快。

Riva 提供了一整套GPU加速软件堆栈和工具,使开发者能够轻松地创建、部署和运行端到端的实时AI应用程序,并且能够准确理解各企业及其客户沟通时所用的各种专业术语。

IDC AI软件平台研究总监David Schubmehl表示:“ 根据IDC的统计,对话式AI市场持续保持着快速增长的速度,这主要是因为各大小规模的企业机构都已开始意识到,使用经过训练的虚拟助手和聊天机器人能够帮助他们为客户提供服务,拓展业务价值。IDC预计,全球范围内,自动客户服务代理和数字助理等对话式AI用例的支出投入将从2019年的58亿美元增长至2023年的138亿美元,复合年增长率将达24%。”

为了能够为客户提供个性化的交互式体验,企业需要使用针对自身产品和客户需求的数据训练其语言型应用。但从头开始构建一项服务需要深厚的AI专业知识、大量数据和计算资源来训练模型,以及能够使用新数据对模型进行定期更新的软件。

Riva 通过为对话式AI提供端到端的深度学习方案来解决这些难题。该产品包括先进的深度学习模型,例如用于自然语言理解的NVIDIA Megatron BERT等。企业可以使用NVIDIA NeMo,基于他们自己的数据对这些模型进行进一步的微调,使用TensorRT进行推理优化,并且使用NGC(NVIDIA GPU优化的软件目录)上的Helm图表在云和边缘进行部署。

早期采用者— VocaKensho Square

全球各地的公司都在使用NVIDIA的对话式AI平台改进自身的服务。

Voca是东芝、美国电话电报公司(AT&T)和其他多家全球领先的公司的AI虚拟代理公司,其依靠NVIDIA实现了速度更快、互动性更强的类人交互。Voca利用AI技术来理解客户在口头交流和讲话时所要表达的全部意图,这使得其AI虚拟代理可以自动识别不同的语调和语音线索,从而辨别出客户所说的内容,以及其想要表达的意思。此外,这些代理利用NVIDIA AI平台内置的可扩展性功能,大大缩短了客户的等待时间。

Voca公司联合创始人兼首席技术官Alan Bekker表示:“低延迟对于呼叫中心至关重要。凭借NVIDIA GPU,我们的代理能够在一秒内完成收听、理解并作出最准确的响应。现在,我们的虚拟代理能够成功处理70-80%的呼叫,其中包括一般性的客户服务请求、付款交易和技术支持等。”

位于马萨诸塞州剑桥市的S&P Global创新中心Kensho部署了可扩展的机器学习和分析系统,其已使用NVIDIA的对话式AI开发了针对金融行业和商业的Scribe语音识别解决方案。借助于NVIDIA的解决方案,Scribe在处理财报会议和类似财务音频方面的准确度,相较于其它的商业解决方案高出了20%。

Kensho AI研究主管Georg Kucsko表示:“我们正在与NVIDIA展开密切的合作,使用深度学习技术进一步推进端到端自动语音识别技术的发展。与不使用AI的传统方法相比,使用NVIDIA的解决方案训练新模型时,其在转录金融行业专业术语时的准确度得到了明显提高,这让我们无需几天的时间,只需几分钟就能向我们的客户提供及时信息。”

Square开发了一个AI虚拟助手,利用 AI技术,它能够帮助Square的销售人员们自动确认、取消或更改与客户的约会,并让他们能够自由地安排日程,与更具战略性的客户接洽。

Square公司的对话式AI主管Gabor Angeli表示:“Square助手可以理解75%的客户提出的问题,并为他们提供帮助。同时能确保将大家的参会率提升10%。通过GPU,我们能够以10倍于CPU的速度训练模型,以提供更准确、更人性化的交互,并最终帮助客户发展业务。”

供应情况

现在您可申请参加NVIDIA Riva 抢先体验活动。有兴趣参与评估这款应用框架的开发者可以在这里注册。活动名额有限!

其他资源