黄仁勋先生详细阐述图形、模拟和 AI 三大领域的愿景交集,“火星”、“Microsoft”和“海量数据”成为 SC19 大会的焦点。
周一,NVIDIA 创始人兼首席执行官黄仁勋先生发布用于构建 GPU 加速 ARM 服务器的参考设计,将 GPU 加速超级计算机支持扩展到发展迅猛的新平台,此举获得了业内的广泛支持。
周一,黄仁勋先生在丹佛举办的 SC19 超级计算机大会上发表演讲,宣布 Microsoft 已在其 Azure 云计算平台上构建“超大型实例”NDv2,这也是全球超大的 GPU 加速云端超级计算机。
此外,他还发布了 NVIDIA Magnum IO。这是一种 GPU 加速 I/O 和存储软件套件,可解决 AI、数据科学和高性能计算工作负载的数据传输瓶颈问题。
在两个小时的演讲中,除发布上述内容之外,黄仁勋先生还谈到目前业内的最新发展动态,详细描绘了高性能计算的广阔前景。
高性能计算领域的全方位扩展
作为全球超级计算领域的顶尖盛会,本届 SC19 大会的开幕式可谓是座无虚席。在开幕式上,黄仁勋先生对现场约 1400 名研究人员和技术人员说道:“高性能计算领域正在同时朝各个方向扩展。放眼当下,无论是在超级计算机中心、云端,还是在边缘,高性能计算可谓是无处不在。”
推动高性能计算全方位扩展的因素不胜枚举,例如基于大量传感器阵列的高性能流式计算、使用边缘计算进行更复杂的过滤、在云端运行高性能计算,以及使用 AI 加速高性能计算等。
黄仁勋先生表示:“所有这一切都在发生巨变。”
本次演讲期间,黄仁勋先生献上一出重头戏,首次现场展示了全球最大的交互式立体可视化项目:携手 NASA 模拟火星着陆。模拟的内容是让双层公寓大小的飞船以每小时 1.2 万英里的速度飞行,并在短短七分钟内安全停下,然后着陆。
据黄仁勋先生介绍,此模拟过程以随机存储的方式传输 150 TB 数据,而这相当于 125000 张 DVD 的数据存储量。他表示,“为此,我们会在超级计算机旁边配备一台超级计算分析仪器。”
扩展高性能计算领域
演讲一开始,黄仁勋先生便详细介绍了加速计算如何协助当今计算科学家工作,他将这些计算科学家称为“当代达芬奇”。
他解释道,第一批 AI 超级计算机已推动聚变能和引力波等各个领域的科学研究。
同时,加速计算还在帮助百万兆级系统解决一些全球范围内最具挑战性的问题。
其中包括劳伦斯伯克利国家实验室的极端天气模式识别研究、橡树岭国家实验室的阿片类药物成瘾基因组学研究、由劳伦斯伯克利国家实验室 (LBNL)、西北太平洋国家实验室和汉福德区布朗大学领导的核废料修复工程,以及由橡树岭国家实验室和纽约州立大学石溪分校领导的癌症检测研究。
与此同时,AI 的应用领域也在日益广泛。本月初,美国邮政总局宣布将采用 NVIDIA 的端到端 AI 技术。作为全球最大的邮政服务机构,其每天要处理近 5 亿封邮件。
黄仁勋先生表示:“这是流式 AI 计算机最擅长的应用场景。”
上个月,黄仁勋先生宣布 NVIDIA 正在与 Ericsson、Microsoft、Red Hat 等公司开展合作,利用 NVIDIA EGX 边缘超级计算平台为企业和 5G 电信网络边缘 AI 提供支持。
高性能计算的下一个目标是:利用大量软件定义传感器将数据传输至可编程的边缘计算机,进而由这类计算机将相关性最高的数据传输给超级计算机,最终由其从海量实时数据中获取见解。
携手 ARM:GPU 加速让新兴高性能计算架构变得更快
对于 ARM 社区而言,周一的重磅新闻无疑具有里程碑式的意义。如今,ARM 处理器架构在智能手机和物联网设备中随处可见,早已成为全球盛行的处理器架构。黄仁勋先生预测,ARM 现拥有超过 1000 亿台计算设备,而未来几年将突破 1 万亿台。
NVIDIA 正在快速为这个蓬勃发展的生态系统引入各类高性能计算工具。
黄仁勋先生表示:“我们一直与在座的各位业内人士保持合作。这个行业真是太棒了,大家都在争先恐后地成长。这将成为一个很棒的生态系统,几乎所有在高性能计算中运行的工作都应该能够在任何 CPU 上运行。”他还补充道,目前有 30 个应用程序已经启动并开始运行。
黄仁勋先生表示,目前已有多家全球领先的超级计算中心开始测试 GPU 加速的 ARM 计算系统,其中包括美国的橡树岭和桑迪亚国家实验室、英国布里斯托大学,以及日本的理化学研究所。
黄仁勋先生表示,NVIDIA 针对 GPU 加速 ARM 服务器推出的参考设计结合了硬件和软件构建块,目前已获得高性能计算和 ARM 生态系统中主要成员的支持。
在 ARM 生态系统中,NVIDIA 正在与 ARM、Ampere、富士通和 Marvell 展开合作。同时,NVIDIA 也在与慧与 (HPE) 及其旗下的 Cray 公司合作。许多高性能计算软件公司也开始使用 NVIDIA CUDA-X 库,为 ARM 生态系统带来基于 GPU 的管理和监控工具。
NVIDIA 于年初宣布为 ARM 带来 CUDA-X 软件平台,在此之后,便首次发布了该参考平台。根据此前的承诺,NVIDIA 正在提供其 ARM 兼容软件开发套件的预览版本(点击此处即可下载),其中包括 NVIDIA CUDA-X 库和加速计算开发工具。
Microsoft 为 Azure 带来 GPU 助力的超级计算机
黄仁勋先生宣布,现在即可在 Microsoft Azure 上使用 GPU 助力的超级计算机 – NDv2。他表示,这是全球超快的超级计算机,可让高性能计算研究人员等用户实时获得前所未有的 GPU 算力。
黄仁勋先生表示:“现在你可以打开一个实例,在容器中抓取一个堆栈,并在 Azure 上启动该堆栈。这就是科学,相当奇妙。”
构建的 Azure NDv2 实例用于处理要求苛刻的 AI 和高性能计算应用程序,可扩展至多达 800 个由 Mellanox InfiniBand 互联的 NVIDIA V100 Tensor 核心 GPU。
正因如此,研究人员等用户首次能按需租用整台 AI 超级计算机,而且其性能足以媲美耗费数月时间部署的大型本地超级计算机。
黄仁勋先生解释道,需要快速解决方案的 AI 研究人员能快速启动多个 Azure NDv2 实例,并在短短几小时内完成复杂的对话式 AI 模型训练。
例如,Microsoft 和 NVIDIA 的工程师在该集群的预发布版本上进行了实验:他们使用 64 个 NDv2 实例,在大约三个小时内便完成了 BERT(当下流行的对话式 AI 模型)的训练。
Magnum IO 软件
为帮助 AI 研究人员和数据科学家将数据移动时间从数小时缩短至几分钟,黄仁勋先生还发布了 NVIDIA Magnum IO 软件套件。
Magnum IO 将多服务器、多 GPU 计算节点的数据处理速度提高多达 20 倍,可解决人们在执行财务分析、气候建模及其他复杂的高性能工作负载时所面临的瓶颈问题。
黄仁勋先生表示:“这个领域将充满创新,我们会投入大量精力帮助大家实现系统数据的高效导入和导出。”
Magnum IO 的核心功能是 NVIDIA GPUDirect Storage,该功能可提供一条连通 GPU 内存和存储的直接数据路径,使数据能够绕过 CPU,在 GPU、存储和网络设备所提供的“开放式高速公路”上实现极速传输。
Magnum IO 是 NVIDIA 与众多网络和存储行业领导者密切合作的结晶,其中包括:DataDirect Networks、Excelero、IBM、Mellanox 和 WekaIO。