COMPUTEX—2024年6月2日—NVIDIA宣布推出全新 NVIDIA RTX™ 技术，用于支持在全新 GeForce RTX™ AI 笔记本电脑上运行的 AI 助手及数字人。
NVIDIA 推出 G-Assist 项目, 一款由 RTX 支持的 AI 助手技术演示 Demo，可为 PC 游戏和应用提供上下文感知帮助。G-Assist 项目的技术 Demo 将首度亮相于 Studio Wildcard 推出的《方舟：生存飞升》(ARK:Survival Ascended) 中。NVIDIA 还发布专为 NVIDIA ACE 数字人平台打造的首个基于 PC 的 NVIDIA NIM™ 推理微服务。
这些技术由 NVIDIA RTX AI Toolkit 支持——这是一套全新工具和SDK，可帮助开发者在Windows PC上优化及部署大型生成式AI模型。它们加入了NVIDIA的全栈RTX AI创新，加速了超过500款应用和游戏，以及200款OEM合作伙伴的笔记本电脑设计。
NVIDIA消费级AI业务副总裁Jason Paul表示：“NVIDIA 在 2018 年发布搭载 Tensor Core 的 RTX GPU 和 DLSS 技术，开启 AI PC 时代。如今，借助 G-Assist 项目和 NVIDIA ACE，NVIDIA 将赋能超过 1 亿 RTX AI PC 用户开启新一代 AI 体验。”
GeForce AI 助手 G-Assist 项目
AI 助手将改变游戏和应用内的体验 — 从提供游戏策略到分析多人游戏回放，再到助力复杂的创意工作流。G-Assist 项目让用户洞见未来的景象。
PC 游戏提供庞大的游戏世界可供探索，还提供复杂的机制供玩家掌控，即便对于最资深的玩家来说，这也是极具挑战性又非常耗时的。G-Assist 项目旨在利用生成式 AI，将游戏知识触手可及地提供给玩家。
G-Assist 项目可接收玩家的语音或文字输入内容，游戏窗口的上下文信息，并通过 AI 视觉模型处理数据。这些模型增强了与游戏知识数据库相连的大语言模型 (LLM) 的上下文感知和对特定游戏及应用的理解，然后生成定制的回复，以文本或语音形式的传递给用户。
NVIDIA 和 Studio Wildcard 合作，在《方舟：生存飞升》(ARK:Survival Ascended) 的演示 Demo 中展示该技术。G-Assist 项目可帮助回答有关生物、物品、背景知识、任务、关卡 BOSS 等方面的问题。由于 G-Assist 项目具有游戏环境感知和上下文理解功能，能根据玩家的游戏进程提供个性化回复。
G-Assist 项目还能配置玩家的游戏系统，以获得最佳游戏性能和能效。它可以提供性能指标的深入理解，根据玩家的硬件优化图形设置，进行安全超频，甚至在保持性能目标的同时智能降低功耗。
首款 ACE PC NIM 亮相
用于为数字人提供助力的 NVIDIA ACE 技术现在将通过 NVIDIA NIM 应用于 RTX AI PC 和工作站，NVIDIA NIM 推理微服务使开发者将部署时间从数周缩短到数分钟。ACE NIM 可在设备上本地运行高质量推理，用于自然语言理解、语音合成、面部动画等。
COMPUTEX 期间，NVIDIA ACE NIM 在 PC 上的游戏首秀将在和 Inworld AI 合作开发的 Covert Protocol 技术 Demo 中亮相，演示在 PC 本地运行的 NVIDIA Audio2Face™和 NVIDIA Riva 自动语音识别技术。
为本地 PC SLM 增加 GPU 加速功能
微软 (Microsoft) 和 NVIDIA 合作帮助开发者将全新生成式 AI 功能应用到 Windows 原生和网络应用中。双方的合作将为应用开发者提供便捷的 API 以访问 GPU 加速的小语言模型 (SLM)，并支持在设备上运行的基于 Windows Copilot Runtime 驱动的检索增强生成 (RAG) 功能。
小语言模型为 Windows 开发者提供巨大的可能性，包括内容摘要、内容生成和任务自动化。RAG 功能使 AI 模型访问基础模型中未能充分表示的特定领域信息，来增强小语言模型。开发者可以通过检索增强生成 (RAG) API 利用应用特有的数据源，并根据应用需求调整小语言模型的行为和功能。
NVIDIA RTX GPU 及其他硬件厂商的AI加速器将加速这些 AI 功能，从而在整个 Windows 生态系统中为终端用户提供快速、响应迅速的 AI 体验。
该 API 将于今年晚些时候发布开发者预览版。
借助 RTX AI Toolkit，模型速度提升 4 倍，体积缩小 3 倍
AI 生态系统已构建数十万个开源模型供应用开发者使用，但大多数模型都是为通用目的而预训练，并且构建在数据中心运行。
为帮助开发者构建在 PC 上运行的特定应用的AI模型，NVIDIA 推出 RTX AI Toolkit，一套用于在 RTX AI PC 上自定义、优化及部署模型的工具和 SDK。RTX AI Toolkit 将于 6 月发布，供更多开发者使用。
开发者可使用开源的 QLoRa 工具自定义预训练模型，并使用 NVIDIA TensorRT™ Model Optimizer 来量化模型，以减少多达 3 倍的RAM消耗。NVIDIA TensorRT Cloud 将会对模型进行优化，以实现在 RTX GPU 产品中的峰值性能。与预训练模型相比，性能提升至高可达4倍。
NVIDIA AI Inference Manager (AIM) 应用开发工具包 (SDK) 现已推出抢先体验版，在 PC 和云端之间完美调度 AI 推理，为 PC 应用开发者简化AI集成的复杂度。它还以统一的 NIM 格式为 PC 预配置必要的 AI 模型、引擎和依赖包，并支持所有主流的推理后端，包括跨不同处理器 (GPU、NPU 和 CPU) 的 TensorRT、DirectML、Llama.cpp 和 PyTorch-CUDA。
Adobe、Blackmagic Design 和 Topaz 等软件合作伙伴将 RTX AI Toolkit 的组件集成到其热门创意应用中，以提升 RTX PC 上的 AI 性能。
Adobe 创意云端产品市场部副总裁 Deepa Subramaniam 表示：“Adobe 和 NVIDIA 将持续合作，为视频、图像、设计、3D 等所有创意工作流提供突破性的客户体验。RTX PC 上的 TensorRT 10.0 为创作者、设计师和开发者提供前所未有的性能表现及由 AI 驱动的功能，为 Photoshop 等行业领先的创意工具中的内容创作开启全新创意可能性。”
TensorRT-LLM 等 RTX AI Toolkit 组件，已集成到生成式 AI 的热门开发者框架和应用中，包括Automatic1111、ComfyUI、Jan.AI、Langchain、LlamaIndex、Oobabooga 和 Sanctum.AI。
用于内容创作的 AI
NVIDIA 还将 RTX AI 加速功能集成到面向创作者、Modder 和视频爱好者的应用中。
去年，NVIDIA 为最热门的 Stable Diffusion 用户界面之一的 Automatic1111 引入使用 TensorRT 的 RTX 加速。从本周开始，RTX 还将加速广受欢迎的 ComfyUI，与目前已推出的版本相比，性能最高可提升 60%，与 MacBook Pro M3 Max 相比，性能提升至原来的 7 倍。
NVIDIA RTX Remix 是一个 Mod 平台，可利用全景光线追踪技术、NVIDIA DLSS 3.5 和物理精确材质，重制经典的 DirectX 8 和 DirectX 9 游戏。RTX Remix 包括一个 Runtime 渲染器和 RTX Remix 工具包应用，可简化游戏资产和材质的修改过程。
去年，NVIDIA 将 RTX Remix Runtime 开源，允许 Modder 扩展游戏兼容性和提升渲染能力。
自今年早些时候推出以来，已有 2 万名 Modder 使用该工具包重制经典游戏，在 RTX Remix Showcase Discord 上开发了超过 130 款 RTX 重制版游戏。
本月，NVIDIA 将开放 RTX Remix 工具包的源代码，让 Modder 能够简化资产替换和场景重新布光的方式，增加 RTX Remix 资产摄取器支持的文件格式，并使用全新模型增强 RTX Remix 的 AI 纹理工具。
此外，NVIDIA 还通过 REST API 使 RTX Remix 工具包的功能可访问，让 Modder 实时链接 RTX Remix 和 Blender 等数字内容创作工具、Hammer 等 Mod 制作工具，以及 ComfyUI 等生成式 AI 应用。NVIDIA 还为 RTX Remix Runtime 提供 SDK，允许 Modder 将 RTX Remix 的渲染器部署到 DirectX 8 和 DirectX 9 经典版之外的其他应用和游戏中。
随着更多 RTX Remix 平台的开源，全球的 Modder 可创造更多令人惊叹的RTX重制版游戏。
NVIDIA RTX Video 这项热门 AI 超分辨率功能，现在已作为 SDK 对所有开发者开放，可在 Google Chrome、Microsoft Edge 和 Mozilla Firefox 浏览器中使用。它帮助开发者原生集成 AI，进行采样、锐化、降低压缩失真和高动态范围 (HDR) 转换。
视频编辑软件 Blackmagic Design 的 DaVinci Resolve 和 Wondershare Filmora 即将支持 RTX Video，它将使视频编辑用户能够将低质量视频文件升级至 4K 分辨率，并将 SDR 源文件转换为 HDR 视频。此外，免费媒体播放器 VLC media 即将在其现有的超分辨率功能基础之上添加 RTX Video HDR 的支持。