为了大规模生成智能，AI 工厂需要持续运行，其经济效益由交付的输出决定：每秒 Token 数、每瓦特 Token 数、每 Token 成本、利用率和正常运行时间。
这需要将 AI 基础设施作为完整的工厂来设计和构建，而不是简单地将加速器堆积在一起。
构建定制 XPU 的超大规模企业和 AI 原生公司不仅要考虑 XPU 本身的设计，还要考虑整个 AI 平台的设计和开发，包括纵向扩展和横向扩展网络、整机架方案、生产工厂软件以及强大的供应商生态系统。
面对 AI 工厂规模需求，这条路径既复杂又昂贵，成为 XPU 快速推向市场的根本性障碍。
打破这一限制意味着要将定制 XPU 与经过验证、成熟可靠的基础架构相结合，使建造者能够将创新重点放在最重要的地方，同时利用已有的技术解决其他问题。
NVLink Fusion 正是为满足这种需求而打造，将 XPU 连接到 NVIDIA 领先的 AI 基础设施，为半定制 AI 算力工厂提高性能、加快上市速度并降低风险。
通过高速纵向扩展释放 XPU 性能
对于运行万亿参数模型，混合专家模型 (MoE) 和代理式 AI 等现代工作负载，如果纵向扩展网络性能无法满足需求，利用率就会显著下降，每 Token 成本也会上升。
纵向扩展网络解决方案必须在以下三个关键维度上表现出色：
- 交付性能：端到端网络性能、网络计算和成熟的软件集成。
- 工厂可靠性：高正常运行时间、持续的状态监控和遥测，以及工厂持续运行期间的组件级可维护性。
- 平台成熟度：通过使用成熟的技术堆栈降低运营风险，这些技术堆栈在大规模部署方面拥有良好的记录，并实现了投资回报。
例如，NVLink Fusion 将 XPU 引入 NVIDIA NVLink 纵向扩展互连域。第六代 NVLink 提供领先的高带宽、低延迟网络实现 72 个 XPU 的互连域。与基于通用以太网的替代解决方案相比，XPU 到 XPU 传输的端到端延迟降低至三分之一，数据包速率提高 10 倍。
NVLink Fusion 还包含 NVIDIA NVLink-C2C 技术，可将 XPU 连接到 NVIDIA Vera CPU 或其他生态系统 CPU，能效最高可达 PCIe 接口的 6 倍，显著减少代理式 AI 系统在控制和计算之间的性能瓶颈。
经过验证的堆栈和生态系统，助力开发和部署
开发定制 XPU 的团队往往面临将 XPU 创新成果转化为数据中心部署所需工作量和复杂性的巨大挑战。其中包括：
- 集成高速 CPU 和纵向扩展接口
- 采购并验证纵向扩展网络解决方案
- 设计计算托盘和交换机托盘
- 设计和验证整机架方案，包括散热和供电系统
- 集成安全与存储
- 管理复杂的供应商生态系统
理想的平台应能提供上述所有这些功能，使团队能够专注于关键的技术创新，在其余部分则采用经过验证的成熟方案。
NVLink Fusion 为快速开发、集成和部署提供了生态系统支持，涵盖 ASIC 设计、CPU 以及 IP 和光互连合作伙伴。
英特尔数据中心芯片工程副总裁兼总经理 Tim Wilson 表示：“NVLink Fusion 让客户能够自由选择最能满足其工作负载需求的 CPU 架构、性能水平和软件功能。”
采用 NVLink Fusion 的用户可以无缝使用 NVIDIA MGX 机架级方案，以及与 MGX 系统相同的供应链。制造合作伙伴负责设计和集成，MGX 供应商则提供机架、散热、供电以及新兴的 800 VDC 等基础组件。
QCT 和 Quanta Computer 的产品和解决方案负责人 Jack Luoh 表示：“对 Vera RubinNVL72，我们可以看到，生产线上的系统构建已实现近乎 100% 的自动化。如果 XPU 采用 NVLink Fusion，这些投资中的大部分都可以无缝利用。”
借助基础设施标准化管理风险
AI 工厂的规划无需等待芯片准备就绪才启动。电力采购、设施设计、冷却系统、机架布局和网络架构早在最终加速器组合可用之前就可以开始了。受限于单一芯片选择的数据中心可能会面临进度延误的风险。
不同的工作负载可能适合不同的加速器，包括 XPU、GPU、CPU 和 LPU。GPU 系统可以与半定制系统协同运行，用于训练、后训练、推理、检索和服务。
MediaTek 企业高级副总裁兼数据中心和计算事业部总经理 Vince Hu 表示：“NVLink Fusion 计划的价值在于客户可以先采用 NVIDIA GPU 部署其机架级解决方案，然后再将 XPU 的开发解耦，并以不同的节奏开发。”
NVLink Fusion 通过统一的架构解决了这些挑战。基于 XPU 和 GPU 的系统，例如 Vera Rubin NVL72，可以共用机架空间、网络、冷却、供电和管理系统。运营商可以在尚未确定芯片组合的同时进行扩容，然后根据工作负载需求、芯片供应和业务优先级的变化重新调配容量。
GUC 主席兼首席战略官 Lie-Szu Juang 表示：“NVLink Fusion 让超大规模企业或定制 ASIC 设计商集成自有的定制 CPU 或 XPU，并将 NVIDIA 技术与第三方流程相结合，从而构建统一的机架级架构。”
为 AI 工厂进行设计、验证和运营
AI 工厂建设成本高昂，一旦出错可能需要付出昂贵的代价返工。基础设施必须在开始施工之前完成验证。NVLink Fusion 与 NVIDIA DSX AI 工厂参考架构保持一致，实现建筑、供电、冷却、计算和网络的协同设计。NVIDIA Omniverse DSX AI 工厂 Blueprint 为十亿瓦级 AI 工厂提供了数字孪生及开放参考设计，助力合作伙伴能够在正式部署前同步对设施和技术进行建模。
在机架层面，可维护性也是性能的一部分。参考计算托盘采用 100% 液冷技术，无风扇、无电缆且无软管，并且支持单托盘拔出维护，机架其余部分仍可正常运行。NVLink Switch 托盘同样采用液冷设计，支持在服务期间持续运行。
亚马逊公司 Annapurna Labs 高级硬件开发经理 CC Lee 表示：“借助 NVLink Fusion，我们可以使用经过验证的 NVL72 机架设计来缩短产品上市时间，并且可以对接多个供应商，帮助我们将更多产品交付给客户。
软件是 AI 工厂的能力底座。用于分布式工作负载的 NVIDIA NCCL、用于资源解耦的 NVIDIA Dynamo 和 NIXL，以及用于集群管理、遥测和调试的 NVIDIA Mission Control 可帮助运营商将异构 AI 基础设施作为协同系统运行。
借助 NVLink Fusion，XPU 现在可以对接业界领先的 AI 平台，助力超大规模企业和 AI 原生公司构建统一的半定制 AI 工厂。这种模式汇聚众多厂商的优势，打造出凭单一企业无法实现的基础设施。
详细了解 NVLink Fusion。