NVIDIA NIM 微服务现已推出,可简化 RTX AI PC 和工作站上的智能体工作流

作者 Jesse Clayton

生成式 AI 为 PC 和工作站带来了全新功能,包括游戏助手、增强的内容创作和生产力工具等。

现已推出的 NVIDIA NIM 微服务和即将推出的 AI Blueprints 可加速 AI 开发和提升其可用性。NVIDIA NIM 于 1 月在 CES 上推出,提供针对 NVIDIA RTX 平台优化的预打包先进 AI 模型,包括 NVIDIA GeForce RTX 50 系列及全新 NVIDIA Blackwell RTX PRO GPUs。微服务易于下载及运行。微服务涵盖了顶级 PC 开发模态,并与顶级生态系统应用和工具兼容。

在计算领域的关键时刻,突破性的 AI 模型和全球开发者社区正在推动 AI 赋能工具和工作流的爆炸式增长,NIM 微服务和 AI Blueprints 正助力为 PC 带来关键创新。本 RTX AI Garage 博客系列将继续提供更新、见解和资源,帮助开发者和发烧友在 RTX AI PC 和工作站构建新一波 AI 浪潮。

NIM 助您马上出发

尽管 AI 的创新速度惊人,但 PC 开发者社区仍然很难上手这项技术。

将 AI 模型从研究引入 PC 需要模型变体管护、输入输出数据的自适应管理和量化以优化资源的使用。此外,模型必须转化为与优化的推理后端软件配合使用,并连接到全新的 AI 应用编程接口 (API)。这需要付出巨大的努力,可能会减缓 AI 的普及。

NVIDIA NIM 微服务通过提供预打包、经优化,易于下载且连接到行业标准 API 的 AI 模型,帮助解决了这一问题。它们针对 RTX AI PC 和工作站上的性能进行了优化,并包含了来自社区的顶级 AI 模型以及 NVIDIA 开发的模型。

NIM 微服务支持各种 AI 应用,包括大语言模型 (LLMs)、视觉语言模型、图像生成、语音处理、基于检索增强生成 (RAG) 的搜索、PDF 提取和计算机视觉。提供十种面向 RTX 的 NIM 微服务,支持各种应用,包括语言和图像生成、计算机视觉、语音 AI 等。立即访问 https://www.nvidia.cn/ai/ 开始使用以下 NIM:

  • 语言和推理: Deepseek-R1-distill-llama-8B、Mistral-nemo-12B-instruct 和 Llama3.1-8B-instruct
  • 图像生成:Flux.dev
  • 音频:Riva Parakeet-ctc-0.6B-asr 和 Maxine Studio Voice
  • RAG:Llama-3.2-NV-EmbedQA-1B-v2
  • 计算机视觉和理解:NV-CLIP、PaddleOCR 和 Yolo-X-v1

NIM 微服务还可以通过顶级 AI 生态系统工具和框架提供。

对于 AI 发烧友,AnythingLLM 和 ChatRTX 现在支持 NIM,可以通过简单、友好的用户界面轻松与 LLM 和 AI 智能体聊天。借助这些工具,用户可以创建个性化 AI 助手并集成自己的文档和数据,帮助自动化任务并提高生产力。

对于希望构建、测试和集成 AI 到其应用中的开发者,FlowiseAILangflow  现在支持 NIM,并提供带有视觉界面的低代码和无代码解决方案,以最低限度的编程专业知识设计 AI 工作流。即将推出对 ComfyUI 的支持。借助这些工具,开发者可以轻松创建复杂的 AI 应用,如聊天机器人、图像生成器和数据分析系统。

此外,Microsoft VS Code AI ToolkitCrewAILangchain 现在支持 NIM,并提供将微服务集成到应用代码中的高级功能,有助于确保无缝集成和优化。

访问 NVIDIA 技术博客www.nvidia.cn/ai/ 开始。

NVIDIA AI Blueprints,提供预构建工作流

NVIDIA AI Blueprints 为 AI 开发者提供了借助 NVIDIA NIM 微服务构建生成式 AI 工作流的先机。

Blueprints (蓝图) 是即用、可拓展的参考样本,可以打包所有必要元素 (源代码、示例数据、文档和演示应用),以创建和自定义本地运行的高级 AI 工作流。开发者可以修改和拓展 AI Blueprints,以调整其行为、使用不同的模型或实现全新的功能。

PDF 转播客 AI Blueprint 即将推出

PDF 转播客 AI Blueprint 可以将文档转换为音频内容,以便用户可以随时随地学习。通过从 PDF 中提取文本、图像和表格,工作流利用 AI 生成信息丰富的播客。为了更深入地探讨主题,用户可以与由 AI 赋能的播客主持人进行互动式讨论。

借助适用于 Linux 的 Windows 子系统,在 RTX 上运行 NVIDIA NIM 和 AI Blueprints

使 NIM 微服务能够在 PC 上运行,关键技术之一是适用于 Linux 的 Windows 子系统 (WSL)。

微软和 NVIDIA 合作 为 WSL 引入了 CUDA 和 RTX 加速,使在 Windows 上运行优化的、容器化的微服务成为可能。从 PC 和工作站到数据中心和云计算,这使得相同的 NIM 微服务可以随时随地运行。

访问 www.nvidia.cn/ai/,开始在 RTX AI PC 上使用 NVIDIA NIM 和 AI Blueprints。

构建、创造、创新

用于 RTX 的 NVIDIA NIM 微服务 和 AI Blueprints 现已在 www.nvidia.cn/ai/ 提供,为开发者和 AI 发烧友构建 AI 应用提供功能强大、随时可用的工具。

每周,RTX AI Garage 都会为那些希望了解更多关于 NIM 微服务和 AI Blueprints,以及在 AI PC 和工作站上构建 AI 智能体、创意工作流、数字人、生产力应用等的用户提供社区驱动的 AI 创新和内容。

生成式 AI 正在改变游戏、视频会议和各类互动体验。请订阅 RTX AI PC 时事通讯,我们每周都会将新鲜资讯直接投递到您的收件箱。

请参阅有关软件产品信息的声明