英特尔重点介绍为什么 NVIDIA Tensor 核心 GPU 非常适用于推理

一家世界领先技术公司并不会每天都重点介绍其他公司的产品优势。

在过去的一周中，英特尔只是比较了 NVIDIA GPU 的两个最昂贵的 CPU 的推理性能。

为了实现单个主流 NVIDIA V100 GPU 的性能，英特尔结合了两个功耗较高的高端 CPU，根据 Anandtech，后者的估计价格为 5 万美元 – 10 万美元。英特尔做出的性能比较也突出了 NVIDIA T4 GPU 的明显优势，这些 GPU 专为推理而构建。与单个高端 CPU 相比，它们不仅更快，而且还拥有高达 7 倍的能效和更具成本效益的订单量。

推理性能至关重要，因为 AI 驱动的服务呈指数级增长。英特尔最新的 Cascade Lake CPU 包括可改善推理的新指令，从而使它们成为最佳的推理 CPU。不过，它们难以匹敌 NVIDIA 深度学习优化 Tensor 核心 GPU。

推理（也称为预测）在很简单的情况下是一种“模式识别”，它是一种在训练后的神经网络。AI 模型可以在应用程序中提供智能功能，例如在金融交易中检测欺诈行为，通过自然语言对话以搜索互联网，甚至在生产故障发生之前就可以通过预测分析进行修复。

虽然现在的大多数 AI 推理都是在 CPU 上进行的，但 NVIDIA Tensor 核心 GPU 正在迅速用于各种 AI 模型。Tensor 核心是一种突破性的创新技术，其已将 NVIDIA GPU 转变为高效率和卓越的 AI 处理器。Tensor 核心以高速率进行多精度计算，为不同的 AI 模型提供最佳精度，并在热门 AI 框架中实现自动支持。

如今，越来越多的消费型互联网公司（如 Microsoft、Paypal、Pinterest、Snap 和 Twitter）正在采用 GPU 进行推理。

适用于计算机视觉的 Tensor 核心 GPU 极具吸引力的价值

首次推出 NVIDIA Volta 架构后，Tensor Core GPU 现已推出 NVIDIA Turing 的第二代产品。Tensor 核心对 AI 进行了极其高效的计算，从 16 位浮点运算 32 位累积到 8 位，甚至是 32 位累积的 4 位整数运算。

其设计旨在加速 AI 训练和推理，并且可以在 TensorFlow 和 PyTorch 框架中使用自动混合精度功能。开发人员可以只需要将两行代码添加到他们的 TensorFlow 项目中，就可以实现 3 倍的训练速度。

在计算机视觉上，如下表所示，在比较相同数量的处理器时，NVIDIA T4 的速度更快，7 倍更高能效并且更经济实惠。NVIDIA V100 是专为 AI 训练设计的，比 CPU 推理快了 2 倍，能效提高了 2 倍。

表 1：ResNet-50 上的推理。

	双插槽英特尔至强 9282	NVIDIA V100 (Volta)	NVIDIA T4 (Turing)
ResNet-50 推理（图像/秒）	7,878	7,844	4,944
处理器数量	2	1	1
总处理器 TDP	800 W	350 W	70 W
能源效率（时间 TDP）	10 图像/秒/W	22 图像/秒/W	71 图像/秒/W
每个处理器的性能（图像/秒）	3,939	7,844	4,944
GPU 性能优势	1.0 （基准）	2.0 倍	1.3 倍
GPU 能效优势	1.0 （基准）	2.3 倍	7.2 倍

来源：英特尔至强性能；NVIDIA GPU 性能

适用于理解自然语言的 Tensor 核心 GPU 极具吸引力的价值

AI 一直以疯狂的节奏发展。这种快速进展由 AI 研究人员和数据科学家团队不断加速，他们不断创新并创造高度准确、复杂度呈指数级增长的 AI 模型。

四年前，来自 Microsoft 的 AI 使用 ResNet-50 等模型能够以超人的准确度执行的早期应用程序之一就是计算机视觉。如今的高级模型会执行更复杂的任务，例如以超人的准确度理解语言和语音。去年，BERT 在 Google 上开放的高度复杂的 AI 模型现在可以理解散文，并用超人的准确度回答问题。

AI 模型的复杂程度的衡量指标是它们拥有的参数数量。AI 模型中的参数是存储模型所学信息的变量。虽然 ResNet-50 有 0.25 亿个参数，但 BERT 有 3.4 亿个，提高了 13 倍。

在 BERT 等高级模型上，单个 NVIDIA T4 GPU 的速度比双插槽 CPU 服务器快 59 倍，能效提高了 240 倍。

表 2：BERT 上的推理。 工作负载： BERT 大数据集微调推理。

	双路英特尔至强 Gold 6240	NVIDIA T4 (Turing)
BERT 推理，问题 – 回答（句子/秒）	2	118
处理器 TDP	300 W (150 Wx2)	70 W
高能效（使用 TDP）	0.007 句/秒/W	1.7 句/秒/W
GPU 性能优势	1.0 （基准）	59 倍
GPU 能效优势	1.0 （基准）	240 倍

CPU 服务器：双插槽至强 Gold 6240 @ 2.6 GHz；384GB 系统 RAM；FP32 精度；英特尔的 TF Docker 容器 v。1.13.1.注意：批大小 4 产生了最佳 CPU 分数。

GPU 结果：T4：双插槽至强 Gold 6240，2.6 GHz；384GB 系统 RAM；混合精度；CUDA 10.1.105；NCCL 2.4.3、cuDNN 7.5.0.56、cuBLAS 10.1.105；NVIDIA 驱动程序 418.67；在 TensorFlow 上使用自动混合精度和 XLA 编译器；适用于所有已测试平台的批大小 4 和序列长度 128。

适用于推荐系统的 Tensor 核心 GPU 极具吸引力的价值

AI 的另一个主要用途是推荐系统，用于提供有关视频共享网站、社交网站上的新闻源以及电子商务网站上的产品建议等相关内容。

神经联合过滤（或 NCF）是一种推荐系统，使用之前用户与项目之间的交互来提供推荐。在 NCF 模型上运行推理时，如果该模型属于 MLPerf 0.5 训练基准测试，NVIDIA T4 实现的性能是 CPU 的 10 倍，能效是 CPU 的 20 倍。

表 3：NCF 上的推理。

	单路英特尔至强 Gold 6240	NVIDIA T4 (Turing)
推荐推理吞吐量 (MovieLens) （数千个样本/秒）	2,860	27,800
处理器 TDP	150 W	70 W
高能效（使用 TDP）	19 个样本/秒/W	397 个样本/秒/W
GPU 性能优势	1.0 （基准）	10x
GPU 能效优势	1.0 （基准）	20x

CPU 服务器：单插槽至强 Gold 6240，2.6 GHz；384GB 系统 RAM；使用适用于 TensorFlow 上的 NCF 的 英特尔基准测试，英特尔的 TF Docker 容器版本 1.13.1；FP32 精度。注意：单插槽 CPU 配置用于 CPU 测试，因为它生成的分数比双插槽更好。

GPU 结果：T4：单插槽至强 Gold 6140，2.3 GHz；384GB 系统 RAM；CUDA 10.1.105；NCCL 2.4.3、cuDNN 7.5.0.56、cuBLAS 10.1.105；NVIDIA 驱动程序 418.40.04；在 TensorFlow 上使用自动混合精度和 XLA 编译器；批大小：2048 用于 CPU，1048576 用于 T4；精度：FP32 用于 CPU，混合精度用于 T4。