全新产品使海量数据的迁移速度比之前快20倍
NVIDIA全新Magnum IO套件能够帮助数据科学家及AI和高性能计算研究者以比之前快20倍的速度处理海量数据。Magnum IO可运行于任何由NVIDIA提供赋力的系统之上,包括图上所示的DGX SuperPOD。
丹佛—— SC19——2019年11月18日—— NVIDIA于今日发布NVIDIA Magnum IO软件套件。该产品让数据科学家及AI和高性能计算研究者可以在数分钟内处理好以往需要数小时才能处理完毕的海量数据。
Magnum IO专为解决存储和输入/输出(I/O)遇到瓶颈这一问题进行了优化。优化之后,执行财务分析、气候建模等复杂的、需要处理大量数据集的高性能计算工作负载时,多服务器、多GPU计算节点的数据处理速度比之前提高了20倍。
Magnum IO是NVIDIA与众多网络和存储行业领导企业(包括DataDirect Networks、Excelero、IBM、Mellanox和WekaIO)密切合作的成果,。
NVIDIA创始人兼首席执行官黄仁勋表示:“AI等数据驱动型科学的核心是处理大量的数据,这些数据可能是收集来的,也可能是模拟的。然而,随着数据的规模和速度呈现指数级的增长,数据处理本身已成为数据中心所要面临的最大挑战,同时也是最主要的成本之一。”
他还表示:“顶级的计算需要顶级的I/O。Magnum IO能够为I/O与存储带来具有革命性计算性能的NVIDIA GPU加速。现在,AI研究者和数据科学家可以专心完成自己的工作,无需再等待数据。”
Magnum IO的核心是GPUDirect。它为数据提供了一条路径,这条路径可以绕过CPU,而在GPU、存储和网络设备所提供的“开放式高速公路”上进行传输。GPUDirect由点对点和RDMA组件组成,兼容多种通信互联产品与API,包括NVIDIA NVLink™和NCCL以及OpenMPI和UCX。
其最新组件GPUDirect Storage使研究者能够在访问存储时绕过CPU,快速访问用于模拟、分析或可视化的数据文件。
NVIDIA Magnum IO软件现已上市,但GPUDirect Storage仅为部分用户提供了早期访问权限。NVIDIA计划在2020年上半年向所有客户提供GPUDirect Storage。
生态合作伙伴的支持
“最新的HPC和AI研究依靠的是海量的数据,其数据规模通常都超过PB级,因此需要更高级的领先技术才能最有效地应对这一挑战。DDN使用NVIDIA的Magnum IO软件套件以及我们的并行EXA5存储结构开辟新的直接数据路径,使GPU在高带宽下可以直接访问PB级数据存储。这种方法在以前是不可能实现的。”
——DDN首席研究官,Sven Oehme
“如今,顶尖的HPC和AI研究者们所需要访问的数据量都在持续大幅增加,因此I/O已成为许多研究者亟待解决的挑战。IBM Spectrum Scale专为需要AI加速和运行数据密集型工作负载的企业机构设计。同时使用IBM Spectrum Scale和NVIDIA GPU加速可以帮助客户缓解I/O瓶颈问题,让客户能够更快地从数据中获取所需的信息。”
——IBM存储产品管理副总裁,Sam Werner
“顶尖的HPC和AI研究者们选择Mellanox为他们提供最先进的技术,从而能够尽可能高效、快速地传输和处理海量数据。我们一直与NVIDIA保持合作,确保Magnum IO与Mellanox最新的InfiniBand和以太网互联解决方案实现无缝协作,一起帮助我们共同的客户克服数据瓶颈问题,推动客户的科学、研究和产品开发活动进程。”
—— Mellanox Technologies软件架构高级副总裁,Dror Goldenberg
关于NVIDIA
NVIDIA(纳斯达克股票代码:NVDA)在1999年发明的GPU激发了PC游戏市场的增长,重新定义了现代计算机显卡,并且对并行计算进行了革新。最近,通过将GPU作为可以感知和理解世界的计算机、机器人乃至自动驾驶汽车的大脑,GPU深度学习再度点燃了全新的计算时代——现代人工智能。更多信息,请访问 http://nvidianews.nvidia.com/。
# # #
媒体咨询,请联络:
孙梅
NVIDIA 公司中国区高级公关经理
Email: evas@nvidia.com
佟元胜
北京科闻领睿咨询服务有限公司
电话:(8610) 59006800-507
Email:terry.tong@archetype.cn
本新闻稿中的部分声明包括但不限于有关以下内容的声明:NVIDIA Magnum IO和NVIDIA GPUDirect Storage的性能、优势、影响和可用性; 数据规模呈指数级增长以及数据的传输和处理是数据中心面临的最大挑战和成本之一; 高性能计算和人工智能研究者需要访问的数据量持续增加;以及使用IBM Spectrum Scale和NVIDIA GPU加速所产生的影响等均为前瞻性声明,存在风险与不确定性,且最终结果可能与预期存在极大差异。可能导致实际结果出现极大差异的重要因素包括:全球经济状况;我们在制造、组装、包装和测试产品方面对第三方的依赖性;技术发展和竞争的影响;新产品和技术的发展或对我们现有产品和技术的改良;市场对我们的产品或合作伙伴产品的接受情况;设计、制造或软件缺陷;消费者偏好或需求的变化;行业标准和界面的变化;将我们的产品或技术集成到系统中时意外损耗的性能;以及 NVIDIA近期提交给美国证券交易委员会 (SEC) 的报告(包括但不限于 Form 10-K年报及Form 10-Q季报)中屡次具体说明的其他因素。提交给 SEC 的报告副本会发布在公司网站上且可免费从 NVIDIA 获得。这些前瞻性声明不能保证未来的表现,仅在规定日期有效。除非法律另有要求,否则 NVIDIA 对更新这些前瞻性声明以反映未来事件或环境不承担任何责任。
©2019 NVIDIA Corporation。版权所有。NVIDIA、NVIDIA徽标、Magnum IO和 NVLink是NVIDIA Corporation在美国和其他国家/地区的商标和/或注册商标。其他公司和产品名称可能为与之相关的各自公司的商标。功能、价格、供货情况和规格如有变更,恕不另行通知。