在 NVIDIA GTC 2025 大会上探索 RTX AI PC 和工作站如何强效助力 AI 开发

在本次大会上,来自整个生态系统的专家们将分享有关在本地部署 AI 的见解。
作者 Jesse Clayton

生成式 AI 正在重新定义计算,为在 PC 和工作站上构建、训练和优化 AI 模型解锁了新途径。从内容创作、大和小语言模型到软件开发,AI 赋能的 PC 和工作站正在革新工作流并提升工作效率。

在 3 月 17 日至 21 日于圣何塞会议中心举行的 GTC 2025 大会上,泛 AI 生态的专家将分享有关在本地部署 AI、优化模型以及利用先进的硬件和软件来增强 AI 工作流的见解,并重点介绍 RTX AI PC 和工作站的主要进展。

在 RTX 上进行开发和部署

RTX GPU 基于专用 AI 硬件——Tensor Core 构建而成,能够为运行算力要求极为苛刻的最新 AI 模型提供所需的计算性能。这些高性能 GPU 可以帮助构建数字人、聊天机器人、AI 生成的播客等。

随着 GeForce RTX 和 NVIDIA RTX™ GPU 用户超过 1 亿,开发者在部署新的 AI 应用和功能时,将能够面向庞大的受众群体。在“为 RTX PC 和工作站打造数字人、聊天机器人和 AI 生成的播客”会议中,NVIDIA 高级产品经理 Annamalai Chockalingam 将展示一套端到端工具,供开发者用于简化开发并快速部署 AI 应用。

模型行为

大语言模型 (LLM) 的使用场景多种多样,并可延伸到各种复杂任务,如编写代码或将日语翻译为希腊语。但是,由于它们通常在广泛的应用范围内利用丰富的知识进行训练,因此可能不适合执行特定任务,例如在电子游戏中生成非玩家角色对话。相比之下,小语言模型会通过减小模型大小来满足更多本地运行需求,并保持准确性。

“关注您的语言:构建可在设备上运行的小语言模型”会议中,NVIDIA 高级工程经理 Oluwatobi Olabiyi 将展示一些工具和技术,以便当今的开发者和发烧友用于生成、整理和提炼数据集 — 然后训练可以执行目标任务的小语言模型。

在 Windows 工作站上充分发挥 AI 性能

由于硬件配置和软件环境多种多样,要在基于 Windows 的工作站上优化 AI 推理和模型执行,需要进行战略性软硬件调优。在“在 Windows 工作站上优化 AI 工作负载:策略和最佳实践”会议中,将探讨 AI 优化的最佳实践,包括模型量化、推理工作流增强和硬件感知调优。

NVIDIA 软件工程师团队还将介绍面向 ONNX Runtime、NVIDIA TensorRT 和 llama.cpp 的硬件感知优化,帮助开发者更大限度地提高 GPU、CPU 和 NPU 上的 AI 效率。

推动本地 AI 开发

即使未连接到基于云的服务,在本地基础设施上构建、测试和部署 AI 模型也能确保安全性和性能。Z by HP 的 AI 解决方案由 NVIDIA RTX GPU 加速,提供在本地开发 AI 所需的工具,同时保持对数据和 IP 的掌控。

参加以下会议了解详情:

开发者和发烧友可以使用 NVIDIA NIM 微服务在 RTX AI PC 和工作站上着手进行 AI 开发。今天推出的首个公开测试版包括 Llama 3.1 LLM、用于自动语音识别 (ASR) 的 NVIDIA Riva Parakeet 和用于计算机视觉的 YOLOX。

NIM 微服务是经过优化的预构建模型,适用于生成式 AI。它们涵盖对 PC 开发至关重要的模态,并且易于通过行业标准 API 下载和连接。

参加 GTC 2025 大会

从 NVIDIA 创始人兼 CEO 黄仁勋主题演讲,到超过 1000 场鼓舞人心的会议、300 多个展览、技术实战培训以及众多独一无二的交流活动,GTC 大会聚焦 AI 及其所有优势。

微博哔哩哔哩,以及微信上关注 NVIDIA Studio 的官方帐号,并订阅 RTX AI PC 新闻通讯,随时掌握最新资讯。