NVIDIA GPU加速AI落地,潞晨科技Colossal-AI助力大模型普适化

by 英伟达中国

通过 NVIDIA GPU 加速平台,Colossal-AI 实现了通过高效多维并行、异构内存管理、大规模优化库、自适应任务调度等方式,更高效快速部署 AI 大模型训练与推理。

AI 大模型的高门槛成为研发一大难题

近年来,AI 模型已从 AlexNet、ResNet、AlphaGo 发展到 BERT、GPT、MoE…随着深度学习的兴起及大模型横扫各大性能榜单,AI 能力不断提升的一个显著特征是模型参数的爆发式增长,这也使得训练模型的成本急剧上升。目前最大的 AI 模型智源悟道 2.0 参数量达到 1.75 万亿,前沿 AI 模型的大小在短短几年内便已增大万倍,远超硬件数倍的缓慢增长,模型大小也远超单个 GPU 的容纳能力。

由于单台机器的能力已远远无法满足日益增长的 AI 训练需求,即便是超级计算机,也面临着当硬件堆砌到达一定数量后,效率无法进一步提升的瓶颈,浪费了大量计算资源。而分布式并行也与单机情况差异巨大,通常需要计算机系统和体系结构相关的专业人员,这进一步提高了训练和部署成本。

此外,PyTorch、TensorFlow 等现有深度学习框架也难以有效处理超大模型,通常需要专业的 AI 系统工程师针对具体模型做适配和优化。更重要的是,不是每一个研发团队都具备 “钞” 能力,能够随时调用大规模 GPU 集群来使用大模型,更不用提仅有一张显卡的个人开发者。因此,尽管大模型已经吸引了大量关注,高昂的上手门槛却令大众 “望尘莫及”。

NVIDIA GPU 加速潞晨科技 Colossal-AI 大模型开发进程

Colossal-AI 基于 NVIDIA GPU A30,为 AI 大模型的普适化做出了一系列贡献:

1、提升 AI 大规模并行效率

对于 GPT-3 等超大 AI 模型,仅需一半资源启动训练,或通过高效并行加速,降低训练成本超百万美元。在训练 ViT 模型时,可以扩大 14 倍的 batch size,加快 5 倍的训练速度;对于 GPT-2 模型,我们可以降低 11 倍的内存消耗和超线性扩展,训练加速 3 倍,模型大小可扩展至 24 倍;对于 BERT 模型,可训练加速可达两倍以上。

2、扩大硬件 AI 模型容量

在单个 GPU 上对于训练任务,可提升模型容量十余倍,将 GPU 训练 GPT-2 和 PaLM 等前沿模型的参数容量提升数十倍。

3、丰富 AI 大模型行业落地

在产品发布的数个月内,潞晨科技已与数十家行业标杆企业建立深度合作,客户涵盖中、美、英、新等全球市场,涉及云计算、芯片设计、生物医药、自动驾驶、智能零售等领域。例如,潞晨方案将 GPU 优化和大规模并行技术引入 AlphaFold 的训练和推理,成功将 AlphaFold 总体训练时间从 11 天减少到 67 小时,且总成本更低,在长序列推理中也实现 9.3 ∼ 11.6 倍提升。Colossal-AI 团队还助力百图生科开源全球最快的复合物结构预测模型,可同时支持蛋白质单体与复合物结构预测,将原有推理速度提升约 11 倍。

目前,在 NVIDIA GPU 出色的 AI 加速性能加持下,Colossal-AI 已成功应用在诸多领域,显著缩短 AI 大模型开发和部署流程,降低 AI 大模型落地成本。

NVIDIA GPU 产品助力潞晨科技 Colossal-AI 大模型落地与推广

NVIDIA GPU 产品与 Colossal-AI 的合作,极大地提升了 AI 大模型的训练与推理流程,显著提升了用户体验,为 AI 大模型的落地与推广做出了重要贡献。

借助 Colossal-AI 与 NVIDIA GPU 产品,对于企业用户,可将现有项目便捷扩展到大规模计算集群,使用高效并行技术,以低成本快速完成 AI 大模型的开发部署。对于计算资源有限的普通用户,也能训练百亿参数的大模型,相比现有主流方案,可提升参数容量十余倍,降低了 AI 大模型微调和推理等下游任务和应用部署的门槛。

潞晨科技致力于将软件系统设计与硬件架构深度融合,实现一体化、智能化、自动化的人工智能计算服务。NVIDIA 初创加速计划为我们提供了技术支持、市场宣传、业务对接等一列的支持。潞晨科技也参加了 2022 NVIDIA 初创企业展示活动,并进入了最终展示,借此获得了更多生态关注。

NVIDIA GPU 产品作为 Colossal-AI 算力基础,本次双方的深化合作将促进潞晨科技与 NVIDIA 共同探索 GPU 如何更有效地应用在训练和推理 AI 大模型中,为 GPU 硬件与 Colossal-AI 软件系统的共同进步打下良好基础。双方将共同努力推动 AI 大模型的普世化进程,不断解放和发展 AI 生产力。

——潞晨科技创始人尤洋博士

关于潞晨科技

潞晨科技主营业务包括分布式软件系统,大规模人工智能平台和企业级云计算解决方案。公司旨在帮助企业最大化人工智能部署效率的同时最小化部署成本。其核心产品面向大模型时代的通用深度学习系统 Colossal-AI,涵盖高效多维自动并行、异构内存管理、大规模优化库、自适应任务调度等自研技术,可高效快速部署 AI 大模型训练和推理,兼容低端设备,显著缩短 AI 大模型训练和推理时间、降低训练和推理成本,减少学习和部署的人力成本。

NVIDIA初创加速计划

潞晨科技是NVIDIA初创加速计划 (NVIDIA Inception) 会员企业。NVIDIA初创加速计划为免费会员制、旨在培养颠覆行业格局的优秀创业公司。该计划联合国内外知名的风投机构,创业孵化器,创业加速器,行业合作伙伴以及科技创业媒体等,打造创业加速生态系统。能够提供产品折扣,技术支持,市场宣传,融资对接,业务推荐等一系列服务,加速创业公司的发展。

想获得 NVIDIA 初创加速生态助力?扫描下方二维码,仅需一分钟填写意向申请表单,获得快速联系。