NVIDIA 推出生成式 AI 微服务,供开发者在已安装 NVIDIA CUDA GPU 的系统中创建和部署生成式 AI 助手

by 英伟达中国
  • 全新由 GPU 加速的 NVIDIA NIM 微服务和云端端点目录,适用于经过优化的预训练 AI 模型,可以在云、数据中心、工作站和 PC 等数亿支持 CUDA GPU 上运行
  • 企业可以使用微服务来加速数据处理、大语言模型(LLM)定制、推理、检索增强生成和护栏功能
  • 已被广泛的 AI 生态系统所采用,包括 CadenceCrowdStrikeSAPServiceNow 等领先的应用平台提供商

美国加利福尼亚州圣何塞 —— GTC —— 太平洋时间 2024 年 3 月 18 日 —— NVIDIA 于今日推出数十项企业级生成式 AI 微服务,企业可以利用这些微服务在自己的平台上创建和部署定制应用,同时保留对知识产权的完整所有权和控制权。

这些云原生微服务目录在 NVIDIA CUDA® 平台上开发,其中包括 NVIDIA NIM™ 微服务,可适用于 NVIDIA 及合作伙伴生态系统中 20 多个热门的 AI 模型进行推理优化。此外,用户现能够以 NVIDIA CUDA-X 微服务的形式使用 NVIDIA 加速软件开发套件、库和工具,用于检索增强生成(RAG)、护栏、数据处理、HPC 等。NVIDIA 还发布了 20 多项医疗 NIM 和 CUDA-X 微服务

这些精心挑选的微服务为 NVIDIA 全栈计算平台增添了新的一层,连接起了由模型开发人员、平台提供商和企业组成的 AI 生态系统,使其能够通过标准化的路径来运行针对 NVIDIA CUDA 安装基础(在云、数据中心、工作站和 PC 中的数以亿计的 GPU)优化的定制 AI 模型。

包括 AdobeCadenceCrowdStrike、Getty Images、SAPServiceNow 和 Shutterstock 在内的诸多领先应用、数据和网络安全平台提供商已经率先使用了 NVIDIA AI Enterprise 5.0 中提供的这些全新 NVIDIA 生成式 AI 微服务。

NVIDIA 创始人兼首席执行官黄仁勋表示:“成熟的企业平台坐拥数据金矿,这些数据可以转化为生成式 AI 助手。我们与合作伙伴生态系统一起创建的这些容器化 AI 微服务,是各行业企业成为 AI 公司的基石。”

NIM 推理微服务将部署时间从几周缩短至几分钟

NIM 微服务提供基于 NVIDIA 推理软件的预构建容器,包括 Triton 推理服务器™ 和 TensorRT™-LLM,使开发者能够将部署时间从几周缩短至几分钟。

它们为语言、语音和药物发现等领域提供行业标准 API,使开发者能够使用安全托管在自己的基础设施中的专有数据,来快速构建 AI 应用。这些应用可按需扩展,从而为在 NVIDIA 加速计算平台上运行生产级生成式 AI 提供灵活性和性能。

NIM 微服务为部署 NVIDIA、A121、Adept、Cohere、Getty Images 和 Shutterstock 的模型,以及谷歌、Hugging Face、Meta、微软、Mistral AI 和 Stability AI 的开放模型提供了快速且性能出色的生产级 AI 容器。

ServiceNow 于今日宣布,其正在使用 NIM 来更快、更经济地开发和部署针对特定领域的全新助手和其它生成式 AI 应用。

用户将能够从亚马逊 SageMaker谷歌 Kubernetes Engine微软 Azure AI 中访问 NIM 微服务,并与 DeepsetLangChain LlamaIndex 等流行的 AI 框架集成。

面向 RAG、数据处理、护栏、HPC 的 CUDA-X 微服务

CUDA-X 微服务为数据准备、定制和训练提供端到端的构建模块,助力各行各业加快开发生产级 AI。

为了加快 AI 采用,企业可以使用 CUDA-X 微服务,包括用于定制语音和翻译 AI 的 NVIDIA Riva、用于路由优化的 NVIDIA cuOpt™,以及用于高分辨率气候和天气模拟的 NVIDIA Earth-2

NeMo Retriever™微服务可让开发者将其 AI 应用链接到业务数据,包括文本、图像以及条形图、折线图和饼图等可视化内容,以生成高度准确、与上下文相关的结果。借助这些 RAG 功能,企业可以向助手、聊天机器人和生成式 AI 生产力工具提供更多数据,从而提高准确性和洞察力。

更多用于定制模型开发的 NVIDIA NeMo™ 微服务即将陆续发布,其中包括构建用于训练和检索的简洁数据集的 NVIDIA NeMo Curator、用于利用特定领域数据微调 LLM 的 NVIDIA NeMo Customizer、用于分析 AI 模型性能的 NVIDIA NeMo Evaluator 以及用于 LLM 的 NVIDIA NeMo Guardrails

生态系统通过生成式 AI 微服务赋能企业平台

除了领先的应用提供商外,NVIDIA 生态系统中的数据、基础设施和计算平台提供商也在使用 NVIDIA 微服务,为企业带来生成式 AI。

包括 Box、Cloudera、Cohesity、Datastax、Dropbox 和 NetApp 在内的顶级数据平台提供商正在使用 NVIDIA 微服务,帮助客户优化 RAG 管道,并将专有数据集成到生成式 AI 应用中。Snowflake 正在使用 NeMo Retriever,充分利用企业数据来构建 AI 应用。

企业可以在自己选择的基础设施上部署 NVIDIA AI Enterprise 5.0 中的 NVIDIA 微服务,例如领先的亚马逊云科技(AWS)谷歌云AzureOracle Cloud Infrastructure 等云平台。

超过 400 个 NVIDIA 认证系统也支持 NVIDIA 微服务,包括思科、戴尔科技、慧与(HPE)、惠普、联想和超微的服务器和工作站。此外,慧与于今日宣布推出面向生成式 AI 的企业计算解决方案,计划将 NIM 和 NVIDIA AI Foundation 模型集成到其 AI 软件中。

NVIDIA AI Enterprise 微服务即将入驻基础设施软件平台,包括与 NVIDIA 合作的 VMware Private AI Foundation红帽 OpenShift 支持 NVIDIA NIM 微服务,帮助企业更轻松地将生成式 AI 功能集成到自己的应用中,同时优化了安全性、合规性和控制功能。Canonical 也正在通过 NVIDIA AI Enterprise 为 NVIDIA 微服务添加 Charmed Kubernetes 支持。

NVIDIA 生态系统由数百家 AI 和 MLOps 合作伙伴组成,包括 Abridge、Anyscale、Dataiku、DataRobotGlean、H2O.ai、Securiti AIScale.aiOctoAIWeights & Biases,它们将通过 NVIDIA AI Enterprise 来支持 NVIDIA 微服务。

Apache Lucene、Datastax、Faiss、Kinetica、Milvus、Redis 和 Weaviate 等向量搜索提供商也在使用 NVIDIA NeMo Retriever 微服务,为企业提供快速响应的 RAG 功能。

可用性

开发者可以在 ai.nvidia.com 了解 NVIDIA 微服务。企业则可以在 NVIDIA 认证系统和领先的云平台上使用 NVIDIA AI Enterprise 5.0 部署生产级 NIM 微服务。

如需了解更多信息,请观看黄仁勋 GTC 主题演讲重播,并于 GTC 期间在圣何塞会议中心参观 NVIDIA 展台。