案例简介
- 火山引擎通过NVIDIA A100 GPU和TensorRT的推理框架实现多种图像识别功能的快速训练，以及大幅加速线上服务计算，最终实现了10万+事物的识别能力
- 本案例主要应用到 NVIDIA A100 GPU和TensorRT
Case Introduction
- With NVIDIA A100 GPU and TensorRT ,Volcengine realizes rapid training of multiple image-recognition function and greatly accelerates online service calculations, finally achieving the ability to recognize over 100,000 things.
- Major products utilized in the case are NVIDIA A100 GPU and TensorRT.
背景
火山引擎是字节跳动面向企业的智能科技品牌，基于大数据、人工智能和基础服务等技术能力，为企业提供系统化的全链路解决方案，助力企业务实地创新，给企业带来持续、快速增长。
为了帮助企业打造从技术基础设施到上层应用的全链路解决方案，火山引擎搭建出一套独创的智能增长技术体系，依托统一基础服务、技术中台、智能应用和行业解决方案四层架构，面向企业级市场推出了数十款技术产品与服务，从开发、应用到运营，满足不同类型企业在生命周期不同阶段业务发展的核心需求。
火山拍照识别功能，为用户提供以手机拍照作为输入的便捷认知和搜索功能，包括了常见动植物，地标建筑，商品等10万+事物的识别。
挑战与方案
大规模细粒度图像识别，本身存在巨大的挑战：
- 训练任务繁重持久，要实现10万以上事物的识别，训练图片量达到千万级别，需要非常强悍的训练平台支持，才能够在限定的开发时间内迭代出有效的大参数量识别模型。
- 作为用户产品，模型上线推理预测的时候，可能面临高频海量的计算请求，服务需要在限量计算资源的情况下尽量多的覆盖识别请求，所以对于推理速度要求很高。
为解决以上挑战，火山引擎选择了采用NVIDIA A100 GPU的训练平台和基于Tensor RT的推理框架，助力其实现10万以上的事物识别。
影响
基于NVIDIA A100 GPU计算平台为其提供超大显存和FLOPS，将百万级别图片训练的每次迭代训练周期从5天缩短至3天左右，满足其迭代速度需求，极大缩短了项目开发周期。
模型服务推理采用TensorRT推理框架，助力火山引擎线上服务速度提升了4至5倍，节省大量计算资源，保证了服务的实时性和可用性。