上海亘聪信息科技有限公司成立于 2019 年,是一家致力于提供 AI 算力资源,AIGC 应用和算力服务一体的全方位 AIGC 服务公司,通过多年对算力和 AIGC 的开发,让 AI 能够更便捷的服务人们的生活。
亘聪信息科技旗下有智星算力云平台(http://gpu.ai-galaxy.cn/store)和意间 AI 绘画小程序 (http://yjai.ai-galaxy.com/) 两大主力产品,为 AI 企业和个人提供了新奇的 AI 体验。
AI 绘画服务器集群面临算力挑战
随着 Stable Diffusion 的爆火,AIGC 成为当前深度学习的超级热点。爆火的背后需要超大规模算力支撑。基于传统 Flask+PyTorch 的架构模式,一个服务器集群只能实现几百人同时创作,而实际需求当中高峰期有超过 10 万人同时调用,这对后端硬件提出了巨大挑战,单纯增加机器,对服务器带宽也提出了巨大需求。
此外,确保服务的可用性和可靠性也是一个挑战,这会需要实施监控和故障恢复措施,以确保服务在发生故障时能够快速恢复,并且在正常运行时能够提供高质量的用户体验。另一个主要的挑战是如何让服务在高流量情况下保持稳定。这需要采用一些技术手段,比如负载均衡和缓存技术,来帮助应对流量高峰期。
NVIDIA Triton 及 TensoRT 为 AI 绘画在线创作提供算力支持
意间在 2022 年使用 NVIDIA Triton 以及 TensoRT,实现了同时 1 万人在线创作,相对于传统方案,Triton 实现高性能负载均衡以及高效消息队列,TensorRT 的使用让显存节省 25%,推理速度提升 3 倍,总体来说,吞吐提升了 2 个数量级。
NVIDIA 高性能 GPU 助力开启意间 AI 绘画之门
“意间 AI 绘画平台开启了国内 AI 二次元绘画的新时代,实现月增注册用户 1400 万的记录,为 AIGC 的推广贡献了自己的智慧。NVIDIA 提供的 GPU 解决方案,解决了深度学习和机器学习的技术难题,使得我们在 AIGC 领域持续不断地创新产品,拓宽应用场景。AI 绘画只是亘聪科技的开始,我们在积极地建设 AI 创意平台,通过降低 AI 技术建设和运营成本,提高创意效率,让艺术能够享受到更多 AI 带来的便捷。”上海亘聪科技 CEO 郭亚鹏表示。
NVIDIA初创加速计划
上海亘聪科技是NVIDIA初创加速计划 (NVIDIA Inception) 会员企业。NVIDIA初创加速计划为免费会员制、旨在培养颠覆行业格局的优秀创业公司。该计划联合国内外知名的风投机构,创业孵化器,创业加速器,行业合作伙伴以及科技创业媒体等,打造创业加速生态系统。能够提供产品折扣,技术支持,市场宣传,融资对接,业务推荐等一系列服务,加速创业公司的发展。
想获得 NVIDIA 初创加速生态助力?扫描下方二维码,仅需一分钟填写意向申请表单,获得快速联系。