ZILLIZ借助 NVIDIA GPU加速AI全流程，打造新一代海量非结构信息搜索引擎

案例简介

• ZILLIZ Milvus是一款针对AI应用大规模落地而研发的，面向海量特征向量搜索比对的数据引擎。

• 在本案例中，借助于NVIDIA GPU的强大算力，Milvus能够帮助用户以更低的成本、更好的性能实现对海量非结构化数据的分析。

• 本案例主要应用到 NVIDIA Tesla P100 GPU。

Case Introduction

• ZILLIZ Milvus is a data engine for searching and comparison of massive eigenvector, which is designed for large-scale landing of AI applications.

• In this case, utilizing the outstanding acceleration performance NVIDIA Tesla P100 GPU. Milvus can help users analyze massive unstructured data with lower cost and better performance.

• The major products utilized in the case is NVIDIA Tesla P100 GPU.

背景

近年来，随着AI产业的飞速发展，用户对于数据处理也提出了新的需求。ZILLIZ自2016年成立以来，致力于将数据科学与现实社会深度结合。ZILLIZ的产品旨在通过挖掘数据的价值，帮助人们进行商业决策和城市治理。ZILLIZ核心产品主要包括：针对非结构信息的数据化分的Milvus 向量搜索引擎和针对快数据的分析与可视的MegaWise 数据现实引擎。

挑战

数据科学时代，数据结构更加复杂多样。随着IT技术日益发展，人类社会的数字化水平不断提高。过去，数字化的主力是所谓的结构化数据，在这一领域，传统数据库功不可没。

而近年来，非结构化数据的信息量激增，根据国际知名咨询机构的预测，到2025年，人类社会产生的数字化信息将增长至2019年的6倍，而且其中绝大多数信息都将是图片，视频，声音等非结构化内容。非结构化内容虽然已通过数字化形式进行存储，但这些内容往往数据化程度较低，使得人们难以轻易发掘其中的价值。

最早在2003年，人们就开始构思如何从非结构化内容中提取有意义的向量化信息，从而便于对非结构化内容的搜索与分析。

时至今日，虽然在学术界当中已发展出了不同流派的向量搜索，匹配技术；然而在业界，依然缺乏可落地的向量搜索产品。其主要原因在于海量特征向量处理所要面临的挑战：检索性能瓶颈；硬件成本瓶颈；检索精度瓶颈。

方案

向量搜索的场景是首先通过AI算法提取非结构化数据的特征向量，然后将特征向量导入Milvus搜索引擎，以加速向量搜索匹配的速度。

海量向量搜索匹配的过程，是一个密集计算的过程，需要耗费大量的算力。当向量数据首次入库时，Milvus需要为其构建索引。如果使用传统的CPU计算方案，每GB数据的索引构建需要十多分钟，耗时冗长。而通过NVIDIA单卡 GPU计算，每GB数据的索引构建仅需不到30秒。

此外，在做向量搜索匹配时，需要大量计算两个向量之间的点积或欧式距离。传统CPU技术，仅支持针对单精度浮点数的计算，而NVIDIA GPU可以支持半精度浮点数，INT8整型的计算。尤其对于点积计算（INT8），NVIDIA GPU提供的DP4A指令，可以进行4路并发的乘累加（MACC）操作。对于Milvus处理的典型高维向量（128维以上），GPU提供的近似计算能力，非但不会影响最终结果的精确性，反而能大幅缩小Milvus引擎的内存占用，加快搜索匹配的速度。

通过充分挖掘NVIDIA Tesla P100 GPU的算力，Milvus搜索引擎的硬件成本比业界其他in house解决方案低了90%以上。在十亿级公开数据集SIFT1B上，Milvus单次查询仅需约1秒（召回率>90%）。