NVIDIA 推出微服务,助力企业迈向生成式 AI

NVIDIA AI Enterprise 5.0 提供了用于推理和其他服务的云 API,为由 AI 驱动的应用铺平道路。
by Anne Hecht

NVIDIA 的 AI 平台适用于任何高瞻远瞩的企业使用,而且比以往任何时候都更加易于应用。

NVIDIA AI Enterprise 5.0 于今日发布,其中包括 NVIDIA 微服务、用于部署生成式 AI 应用和加速计算的可下载软件容器。领先的云服务提供商、系统构建商和软件供应商均可提供,并且 Uber 等客户已开始使用该产品。

Uber 平台工程副总裁 Albert Greenberg 表示:“我们采用了 NVIDIA AI Enterprise 推理软件,这对于满足用户对高性能的期望来说非常重要。让 Uber 引以为豪的是,我们走在了采用 AI 创新技术的前沿,使我们成为一个在效率和卓越方面树立行业标准的客户服务平台。”

微服务加速应用开发

开发者正在转而采用微服务,并将其作为在全球范围内构建现代企业应用的有效方式。他们在浏览器中使用云 API 或应用编程接口来编写可在系统上运行的应用,并为全球用户提供服务。

NVIDIA AI Enterprise 5.0 现包括一系列微服务,其中包括用于在生产中部署 AI 模型的 NVIDIA NIM 和包括 NVIDIA cuOpt 在内的 NVIDIA CUDA-X 微服务集合。

NIM 微服务可为来自 NVIDIA 及其合作伙伴生态系统的数十种热门 AI 模型优化推理。

NIM 由 NVIDIA 推理软件(包括 Triton 推理服务器、TensorRT 和 TensorRT-LLM)提供支持,可将部署时间由数周缩短至数分钟。它提供基于行业标准的安全性和可管理性,以及与企业级管理工具的兼容性。

NVIDIA cuOpt 是一款 GPU 加速的 AI 微服务,它在路线优化方面创造了记录,并能够支持动态决策,从而帮助企业降低成本、缩短时间并减少碳足迹。作为 CUDA-X 微服务之一,它可帮助各行业将 AI 投入生产。

更多功能正在陆续开发中。例如 NVIDIA RAG LLM operator 将把 Co-Pilot 和其他使用检索增强生成的生成式 AI 应用从试验阶段推向生产阶段,而无需重写任何代码。目前,该功能正处于早期访问阶段,请点击此处,了解更多详细信息。

包括 CrowdStrike、SAPServiceNow 在内的多家领先应用和网络安全平台提供商都正在采用 NVIDIA 微服务。

更多工具和功能

此外,我们还在 5.0 版本中进行了 3 项重要更新。

该平台现集成了一个开发者工具包 NVIDIA AI Workbench,用于快速下载、自定义和运行生成式 AI 项目。该软件目前已全面上市,并已获得 NVIDIA AI Enterprise 许可证支持。

此外,5.0 版本现在还支持红帽 OpenStack 平台,大多数财富 500 强公司都使用该平台创建私有云和公有云服务。它由红帽负责维护,为开发者构建虚拟计算环境提供熟悉的平台。IBM 咨询服务将帮助客户部署这些新功能。

此外,5.0 版本还扩展了支持范围,支持各种最新 NVIDIA GPU、网络硬件和虚拟化软件。

可随时随地运行

功能增强的 NVIDIA AI 平台比以往任何时候都更易于访问。

NIM 和 CUDA-X 微服务以及所有 5.0 功能均会很快在亚马逊云科技谷歌云Microsoft AzureOracle Cloud marketplace 上架。

如果用户希望在自己的数据中心运行代码,VMware Private AI Foundation 和 NVIDIA 将为软件提供支持,使其能够部署在博通公司客户的虚拟化数据中心中。

企业可以选择在红帽 OpenShift 上运行 NVIDIA AI Enterprise,以便在裸机或虚拟化环境中运行。它还可以在 Canonical 的 Charmed Kubernetes 和 Ubuntu 上运行。

此外,该 AI 平台也将成为慧与(HPE)的 HPE ProLiant 服务器上可用软件的一部分。HPE 的生成式 AI 企业计算解决方案使用 NVIDIA AI Enterprise 进行推理和模型微调。

同时,Anyscale、Dataiku 和 DataRobot 这三家领先的机器学习操作管理软件提供商也将在其平台上支持 NIM。他们加入了由数百家 MLOps 合作伙伴组成的 NVIDIA 生态系统,其中包括 Microsoft Azure 机器学习、Dataloop AI、Domino Data Lab 和 Weights & Biases

用户无论通过何种方式访问 NVIDIA AI Enterprise 5.0,都能从这一安全、生产就绪且性能优化的软件中获益。它可以灵活地部署在数据中心、云、工作站或网络边缘的应用中。

NVIDIA AI Enterprise 可通过思科、戴尔科技、惠普、HPE、联想和超微等领先的系统提供商提供。

在GTC 上聆听成功案例

3 月 18 日至 21 日,全球 AI 盛会 NVIDIA GTC 在圣何塞会议中心举行。会上,用户将会分享他们使用该软件的体验。

例如,ServiceNow 首席数字信息官 Chris Bedi 将在小组讨论上就如何利用生成式 AI 的潜能进行发言。而 ServiceNow AI 产品副总裁 Jeremy Barnes 则会在另一场演讲中分享如何借助 NVIDIA AI Enterprise 充分提高开发者的开发效率。

来自贝莱德、美敦力、SAP 和 Uber 的高管们将就其在金融、医疗、企业软件和业务运营领域中使用 NVIDIA AI 平台开展的工作进行探讨

此外,总部位于德国汽车保险公司全球应用提供商 ControlExpert 的高管将与大家一同分享如何利用 NVIDIA AI Enterprise 软件开发 AI 理赔管理解决方案。

NVIDIA 对数百个内外部的生成式 AI 项目进行了评估,并将这些项目全部集成到一个经过稳定性和安全性测试的软件包中,让越来越多的公司能够从中受益。

欢迎观看 NVIDIA 创始人兼首席执行官黄仁勋的 GTC 主题演讲回放,了解完整信息。 请参见有关软件产品信息的需知