案例简介
Neuvix 辛玮智能是一家专注于计算机视觉解决方案和机器视觉自动化装备研发和相关产品的民营高科技企业。
本案例中, Neuvix 辛玮智能基于 NVIDIA Jetson 平台打造的智能化边缘终端,利用 GPU 的 SDK 加速图像目标检测和跟踪,实现智慧大交通多个场景的实时管控。
本案例中主要应用到了 Nvidia Jetson Nano 、 Nvidia Jetson Xavier NX 、 CUDA 和 NVENCODE 。
背景
Neuvix 辛玮智能筹建于 2018 年,正式落地注册于 2019 年 1 月,是专注于计算机视觉、工业人工智能技术和先进自动化装备的民营高科技企业。主要服务于航天、港口、交通和电子装备制造等 尖端和精密制造业。其中在航天等客户已取得了部分领域首台装备的研制突破,在智慧交通产品已在上海洋山深水港、天津港和上海公交领域落地。
辛玮智能的产业方向布局包括两个方面。智慧大交通产品,包括港口智能安全管理方案,港口 ADAS 智能装备,智慧港口平台,公交智慧识别产品,智慧场站解决方案等。智能检测系统及装备,包括通用外观云检测平台,工业检测智能装备等;
智慧大交通产品方面,辛玮智能与上海公交集团合作开发,利用 Jetson 平台实现了站点终端的实时高清视频分析,行为识别和违章稽查,实现了公交车场站车辆的自动外观和功能检测。在港口客户方面,辛玮智能在天津港、上海港客户创新地利用设备端、现场端边缘算力及相关硬件的部署,实现港口大型机械 ADAS 和多种安全防护功能,以及智能安防管控功能。
智能检测系统及装备方面,辛玮智能开发的 Micro-OLED 硅基显示视觉测试系统,通过先进光学系统和图像算法,实现对于 0.39 寸 full HD 硅基显示模组的图像 检测, ppi 高达 5600 ,该系统达到美国竞争对手同样检出率,同时节拍提升 25 以上。
挑战
作为国家的重大发展战略,智能制造领域一直备受关注,该产业结构中的高劳动密集性和长生产周期,对工业生产的智能化与自动化技术提出了迫切的需求。工业智能化涉及到了包括视觉在内的各种传感器的感知技术,工业设备的自动化控制技术,以及资源调度分配的智能决策系统。其中,视觉感知技术是工业智能化领域中的重点和难点。
目前,围绕着工业视觉感知领域面临着两方面的挑战:
一是精度,工业瑕疵检测中,图像检测算法的检测精度直接影响着最终的良品率,港口集装箱装备流程中,视觉检测算法的精度决定了装配的安全和可靠性,这些精度上的高要求极大的限制了基于 CPU 运算的传统视觉感知技术应用范围。
二是速度,针对工业生产的智能化服务中,智慧港口的自动化管控需要进行全覆盖、多方位,多角度的各路监控视频的处理与分析,基于单一运算平台的视频数据收集、处理、分发的解决方案难以解决海量数据的高并发处理、细粒度分析的问题,满足不了全区域监控调度的实时性需求。
而在智慧大交通领域,如港口、公交等场景下,最大的挑战在于缺乏通讯、网络等基础设施支持或成本投资限制的场景下,如何将人工智能服务在前端进行部署,如何能够根据客户需求变化及时调整优化模型,满足客户需求。如庞大的两客一危运营监管设备市场中,传统硬件缺乏足够算力支持,对于各种行为、违章和风险和新增管控需求的对应能力不足,软件算法升级空间小,需求无法得到妥善解决。
方案
1 、将 NVIDIA GPU 应用在电极片图像检测中,各种点、线、片杂物隐藏在微拍图像中,传统的图像处理方法需要大量的专家经验定制筛选规则,难以覆盖大量细节处理。采用 NVIDIA GPU 对收集分类好的检测目标进行分析训练后,检测识别规则的调整只需要对算法模型进行优化,极大的缩短了产品开发周期,电极片重量称量精度达到了 0.01g 。
2 、在公交车的安全检测与查违系统中,每天需要对公交集团的近万辆公交车进行实时跟踪和监测,部署在公交车站的摄像头拍摄实时的公交车行驶状态,并估计公交车的行驶速度、进出站状态分析、转向灯状态分析,收集违规信息并推送到云平台中。这些计算过程对整体平台的运算能力提出了很高的实时性要求,单个的云计算平台难以承载高并发的、短处理时间的运算负荷。在引入 Nvidia Nano 处理终端后,各路摄像头的视频信号先经由 Nano 的 GPU 处理单元进行分析,结合 CUDA 和 NVENCODE 的视频编解码加速器,能够实时的得到公交车的状态检测结果,然后推送到云平台中,如此极大的降低云平台的运算压力,同时提高了整个系统的可靠性。
影响
采用Nvidia Jetson Nano GPU的处理终端,极大的提升了智慧大交通领域的部署能力,相对于传统芯片,视频流检测处理速度提升了30倍,将视频处理算法布置到各个监控点终端,系统的开发复杂度有了较大的改善,项目的开发与迭代周期由以月为单位逐步过渡到以天为单位,整体流程提升了近5倍。
利用Nvidia Jetson Xavier NX终端的高速运算性能,有效提高了面向驾驶员状态监视+辅助驾驶系统的算法处理能力,相较于传统的处理终端,单个Jetson Xavier NX能够同时对接包括摄像头、毫米波雷达,以及惯导等多源传感器,可以实现8路摄像头的实时调用与控制,处理系统的负载能力提升了4倍,极大的提高了智慧大交通领域中系统的可靠性。
NVIDIA 提供的 GPU 产品与解决方案,解决了辛玮智能在深度学习和机器学习方面的技术难题,使用 Nvidia Jetson 系列产品,极大的提升了广域视频监控系统的时效性和可靠性,也为后期多传感器感知方案提供了技术支,为深入工业智能化领域打下了良好的基础。
h2{ color: #76B900; }