下一波 AI 浪潮对基础设施提出了新的要求。
随着 AI 智能体和万亿参数工作负载日益成为主流，AI 基础设施的性能不仅取决于计算能力，还取决于计算、内存、存储、网络和软件如何作为统一系统进行协同设计。
为帮助超大规模企业和 AI 创新者构建新一代半定制 AI 基础架构，NVIDIA 推出 NVIDIA NVHBM 技术，进一步扩展了 NVIDIA NVLink Fusion 技术方案。NVHBM 是一种新一代高带宽内存技术，可为 XPU 提供更高的内存性能和效率。该技术将由领先的内存合作伙伴完成验证并提供，从而让这种先进的内存能力惠及 NVLink Fusion 客户。
传统的 HBM 架构将内存控制器集成在 XPU die 上，会消耗原本可专用于计算的宝贵芯片空间。NVHBM 采用 NVIDIA 为未来 GPU 设计的同类技术，将 NVIDIA 的定制内存控制器集成到 HBM 基础 die 中。
通过将内存控制器集成到 3D HBM 堆栈，而不是集成在 XPU 上，与标准 HBM4E 相比，NVHBM 可实现高达 30% 的内存带宽提升，将 HBM 功耗降低 15%，并为 XPU 计算 die 释放多达 25% 的面积。
NVIDIA 正在建立一套标准的 NVHBM 实现方案，该方案由多个内存供应商提供。这将减少集成和验证多个不同供应商的内存所需的工程工作量，使 NVLink Fusion 客户能够更快地将定制 AI 芯片推向市场。
亚马逊的 Annapurna Labs 将率先使用 NVHBM，这将是其与 NVIDIA 围绕 NVLink Fusion 开展的更广泛合作的一部分。
亚马逊云科技 (AWS) 与 NVIDIA 将持续推进 NVLink Fusion 方面的合作
亚马逊旗下的 Annapurna Labs 将与 NVIDIA 合作开发 NVHBM 技术和 NVLink 纵向扩展架构，以提高 AI 工作负载的性能和效率。
这一举措建立在 AWS 此前宣布支持 NVLink Fusion 的基础之上。Annapurna Labs 将从其新一代 Trainium 芯片，即 Trainium4 开始，支持 NVLink Fusion，使亚马逊的芯片和 NVIDIA GPU 能够在相同的机架级架构中协同工作。
亚马逊 Annapurna Labs 副总裁 Nafea Bshara 表示：“NVHBM 代表了一种提升高带宽内存性能和效率的全新架构方法。我们期待此次技术合作能为未来的 AWS 基础架构设计带来助益。”
纵向整合和横向开放
NVLink Fusion 使合作伙伴能够将定制 XPU 和 CPU 连接到 NVIDIA 的机架级平台。
合作伙伴可使用 NVIDIA NVLink 芯粒、NVLink-C2C、NVLink 交换机、NVIDIA MGX 系统和机架，并接入由 CPU 合作伙伴、ASIC 设计商、系统制造商和技术提供商组成的广泛生态系统。
NVLink Fusion 随每一代 NVIDIA 机架级系统架构同步更新，使超大规模企业和 AI 原生公司能够将工程资源集中在 XPU 创新，同时采用经过验证的技术堆栈来构建纵向扩展和横向扩展网络、机架级系统和软件，从而为部署半定制 AI 基础设施创造更快、更低风险的途径。
详细了解 NVLink 以及 NVLink Fusion。