NVIDIA发布全新推理软件，开创交互式会话AI新时代

NVIDIA TensorRT 7编译器实时推理能力

实现更加智能的AI人机交互

中国苏州——GTC China—— 2019年12月18日— — NVIDIA于今日发布一款突破性的推理软件。借助于该软件，全球各地的开发者都可以实现会话式AI应用，大幅减少推理延迟。而此前，巨大的推理延迟一直都是实现真正交互式互动的一大阻碍。

NVIDIA TensorRT™ 7 作为NVIDIA第七代推理软件开发套件，为实现更加智能的AI人机交互打开了新大门，从而能够实现与语音代理、聊天机器人和推荐引擎等应用进行实时互动。

据 Juniper Research 估计，全世界有32.5亿个数字语音助理被应用于设备中。到2023年，该数字预计将达到80亿，比当今全球人口总和还要多。

TensorRT 7内置新型深度学习编译器。该编译器能够自动优化和加速递归神经网络与基于转换器的神经网络。这些日益复杂的神经网络是AI语音应用所必需的。与在CPU上运行时相比，会话式AI组件速度提高了10倍以上，从而将延迟降低到实时交互所需的300毫秒阈值以下。

NVIDIA创始人兼首席执行官黄仁勋在 GTC China 主题演讲中表示：“我们已进入了一个机器可以实时理解人类语言的AI新时代。TensorRT 7使这成为可能，为世界各地的开发者提供工具，使他们能够构建和部署更快、更智能的会话式AI服务，从而实现更自然的AI人机交互。”

全球一些最大、最具创新性的公司已在使用NVIDIA的会话式AI加速功能。在首批使用NVIDIA会话式AI加速能力的企业中，包括了阿里巴巴、百度、滴滴出行、美团、快手、平安、搜狗、腾讯和字节跳动等一些中国最具创新力的领先企业。

搜狗公司为全球使用频率最高的手机应用程序——微信，提供搜索服务。搜狗首席技术官杨洪涛表示：“搜狗每天通过输入法、AI硬件、搜索等产品为数亿用户提供语音、图像、翻译、对话以及问答等优质的AI服务，我们使用NVIDIA TensorRT推理平台实现线上实时快速的服务响应，领先的AI能力显著提升了我们的用户体验。”

美团搜索与NLP部负责人王仲远表示：“通过我们领先的生活服务电子商务平台，美团每天为数千万用户提供餐饮、外卖、打车、共享单车、酒店旅游、电影、休闲娱乐等生活服务，借助于NVIDIA 推理解决方案，我们只需要4毫秒就能很好地了解用户的意图，从而通过搜索、智能助理、智能客服等系统更快的满足用户的生活服务需求，用最先进的会话式AI技术带来了更出色的客户体验。”

递归神经网络变得日益重要

TensorRT 7加快了AI模型的领域扩展。这些模型被用于预测使用递归循环结构（RNN）的时间序列、数据情景。除了用于会话式 AI语音网络之外，RNN 还可以帮助规划汽车或卫星到达时间、预测电子病历中的异常情况预测金融资产和识别欺诈。

RNN配置和功能组合的爆炸式增长为快速部署可以满足实时性能标准的生产代码带来了挑战，使得开发者需要花费长达数月的时间创建手写代码优化，从而使得会话式AI仅局限于拥有必要专业人才的少数公司。

通过TensorRT的新型深度学习编译器，全球各地的开发者能够将这些网络（例如定制的自动语音识别网络以及用于文本-语音转换的WaveRNN和 Tacotron 2）实现自动化，并实现最佳的性能和最低的延迟。

新的编译器还能优化基于 transformer 的模型，例如用于自然语言处理的 BERT 等。

从边缘到云，为推理提供加速

TensorRT 7可以快速优化、验证并部署经过训练的神经网络，为超大型数据中心、嵌入式或汽车GPU平台提供推理能力。

NVIDIA的推理平台，包括 TensorRT 以及多个 NVIDIA CUDA-X AI™ 库和 NVIDIA GPU，不只能为会话式AI提供低延迟、高吞吐量的推理能力，也同样能为包括图像分类、欺诈识别、分割、目标检测和推荐引擎在内的其它应用提供低延迟、高吞吐量的推理能力。该平台的各项能力已被一些世界领先的企业和消费技术公司广泛使用，其中包括阿里巴巴、美国运通（American Express）、百度、PayPal、Pinterest、Snap、腾讯和 Twitter。

供应方式

TensorRT 7 将在未来几天内开放访问，以用于开发和部署。NVIDIA 开发者计划成员可通过 TensorRT 网页免费获得 TensorRT 7。此外，新版本插件、语法分析器和样本也将作为开放资源，通过 TensorRT GitHub 库提供。

关于NVIDIA

NVIDIA（纳斯达克股票代码：NVDA）在 1999年发明的 GPU 激发了 PC 游戏市场的增长，重新定义了现代计算机显卡，并且对并行计算进行了革新。最近，通过将 GPU 作为可以感知和理解世界的计算机、机器人乃至自动驾驶汽车的大脑，GPU 深度学习再度点燃了全新的计算时代——现代人工智能。更多信息，请访问 http://nvidianews.nvidia.com/。

# # #

本新闻稿中的某些声明，包括但不限于以下声明：NVIDIA TensorRT 7 和 NVIDIA推理平台的优势、影响和可用性；全球数字语音助理的估计数量及其预期增长；进入 AI 新时代，机器能够实时理解人类语言；RNN配置和功能组合爆炸式增长的影响是前瞻性的陈述，这些陈述具有风险和不确定性，可能导致结果与预期有重大差异。可能导致实际结果出现实质性差异的重要因素包括：全球经济状况；所依赖的第三方制造、组装、包装和测试我们的产品；技术发展和竞争的影响；开发新产品和新技术或改进现有产品和技术；市场接受我们的产品或我们合作伙伴的产品；设计、制造或软件缺陷；消费者偏好或需求的变化；行业标准和接口的变化；我们的产品或技术在集成到系统中时的意外性能损失；以及最近报告中不时详细说明的其他因素，包括但不限于10-K表年度报告和10-Q表季度报告。以上报告已向美国证券交易委员会提交，报告副本已发布在公司的网站上，可通过NVIDIA免费获得。这些前瞻性声明不保证未来的履行，仅在本协议签订之日发表，除法律要求外，NVIDIA不承担更新这些前瞻性声明以反映未来事件或情况的任何义务。