NVIDIA 推出 Minerva,为 AI 工厂带来端到端可观测性

全新 AIOps 平台可关联基础设施和工作负载遥测数据,帮助运营商延长正常运行时间并更大限度地提高 AI 工厂的产出。
作者

NVIDIA 今天正式发布的 AIOps 平台 NVIDIA Minerva,旨在帮助团队更早发现问题并保持 AI 工厂的工作效率。该平台将来自基础设施和 AI 工作负载的遥测数据整合在一起,并应用专门构建的 AI 模型,将这些数据转化为及时、可操作的洞察。

AI 工厂是当今世界上最复杂的运营系统之一,大量 GPU 通过高速网络互连,以训练模型并提供 AI 应用服务。在这种规模下,单个降级的组件可能会拖慢整个任务。这些警告信号可能很容易被忽略,例如 GPU 运行温度高于同类,或者 NVMe 驱动器在负载下性能衰减。

NVIDIA Minerva 专注于 AI 工厂产出,即基础设施实际产出的有效工作量,通过 GPU 小时数、有效吞吐量、集群正常运行时间和 Token 产出量来衡量。

阅读 NVIDIA 在欧洲的新闻公告

提供 AI 工厂的动态视图

传统的监测工具通常会将数据中心划分为多个独立的视图。网络、计算、站点可靠性和机器学习团队各自关注不同的部分。Minerva 则可关联来自 NVIDIA GPU、网络、存储、调度程序和工作负载的信号。

借助这些信号,Minerva 构建了一个动态知识图谱,从逻辑上映射基础设施 (GPU、SuperNIC、交换机和线缆) 及其上运行的任务。凭借这种上下文信息,可以帮助运维人员追溯导致训练速度变慢的组件,即使在拥有数十万块 GPU 的工厂中也是如此。

Minerva 使用监督和无监督机器学习,每小时可分析数十亿个数据点。它可以学习系统的正常行为模式,检测从未见过的异常情况,预测潜在故障,并根据工厂的拓扑结构将相关事件关联起来。该平台不会将每一条警告逐一发送给运维人员,而是将“事件风暴”归拢为一个明确的事件,并指出最可能的原因。

Minerva 内置原生 AI 助手,并可对接外部智能体 AI 工具,提供基于实时遥测数据的自然语言界面。运维人员可以通过对话方式排查集群健康状况,并获取修复建议。团队既可以选择人工执行修复,也可以通过基础设施应用编程接口和外部系统,将 Minerva 接入到自动化系统以实现自动修复。

更大限度提高 AI 工厂的产出

Minerva 能够关联工作负载与基础设施问题,结合其智能体 AI 功能,有助于简化 AI 工厂运营。Minerva 不会发出海量的警报,而是将相关问题整合到一个可操作的事项中。这使得 AIOps 团队能够从被动响应转向主动维护,从而帮助 AI 工厂最大化 GPU 的正常运行时间。

Minerva 为 AI 工厂关注的核心指标提供了价值:

  • 更长的无中断运行时间:Minerva 能够提前发现问题隐患,让任务运行时间更久而不被中断。
  • 更快的修复速度:当事故确实发生时,Minerva 会精确定位问题,从而显著加快解决问题的速度。
  • 更深入的洞察:现代 AI 基础设施会产生海量数据;Minerva 能够从中过滤,只留下极少数真正重要的警报。

IREN 是 NVIDIA 合作伙伴之一,使用了 Minerva 优化其 AI 工厂。

IREN 首席技术官 Denis Skrinnikoff 表示:“随着我们不断扩大 AI 工厂规模,为客户提供优质服务的关键在于更大限度地提高 GPU 的生产力。NVIDIA Minerva 为我们的运营团队提供了一个涵盖网络、GPU 及其运行任务的统一视图,让我们更专注于主动维护,而非故障排除。这种可见性强化了我们的运营模式,为接下来构建的新一代基础设施提供支持。”

除 IREN 外,Aolani、BitDeer AI、IBM、Jio、Lambda、Quake AI 和特斯拉也计划部署 Minerva。

此外,戴尔科技、联想和 Supermicro 将把 Minerva 纳入其 AI 工厂运营产品组合中。

点击链接,详细了解 NVIDIA Minerva。

点击查看软件产品信息声明。

阅读 NVIDIA 在欧洲的新闻公告