NVIDIA 和 ComfyUI 在 GDC 携手简化本地AI视频生成工作流,赋能游戏开发者和创作者

借助 ComfyUI 的应用视图、NVIDIA RTX Video 超分辨率和全新的 NVFP4 模型,AI 驱动的视频生成更加易用。
作者 haimanz
NVIDIA 和 ComfyUI 在 GDC 携手简化本地AI视频生成工作流,赋能游戏开发者和创作者

游戏开发者和设计师正在构建电影级的游戏世界与标志性的角色,不断提升基于 NVIDIA RTX AI PC 的沉浸式体验标准。

在本周于旧金山举行的游戏开发者大会(GDC)上,NVIDIA 宣布了一系列更新,旨在借助RTX GPU 和 NVIDIA DGX Spark 桌面超级计算机,加速并简化用于概念设计和分镜创作的 AI 视频生成工作流。

这些发布内容包括:

  • ComfyUI 推出全新的应用视图 ,采用更简化的界面,降低这款热门生成式 AI 工具的使用门槛。
  • RTX Video 超分辨率现已支持 ComfyUI,适用于将生成的视频实时升级至 4K分辨率。开发者也可通过 Python Wheel 安装。
  • Lightricks 的 LTX-2.3 和 Black Forest Labs 的 FLUX.2 Klein 模型,发布 NVFP4 和 FP8 模型变体,实现最高可达 2.5 倍性能提升并降低 60% 的显存占用。

无缝本地 AI:协作、优化、自定义

许多热门的 AI 应用已经让初学者更容易在笔记本电脑或台式机上直接尝试最先进的模型。

对于不熟悉节点工作流的设计师来说,ComfyUI 全新的应用视图,通过简化界面来呈现工作流。用户只需输入提示词、调整简单参数并点击生成即可。完整的节点工作流体验仍然以节点视图  形式保留,用户可以在两种模式之间无缝切换。

应用视图 与 ComfyUI 中的 RTX 优化完全兼容。自 9 月以来,RTX GPU 的体验性能已提升 40%,同时 ComfyUI 现已原生支持 NVFP4 和 FP8 数据格式。综合来看,在 NVIDIA GeForce RTX 50 系列 GPU 上使用 NVFP4 格式时,性能最高可提升 2.5 倍并减少 60% 的显存占用。使用 FP8 时,性能最高可提升 1.7 倍并减少 40% 的显存占用。

1 月在 CES 上 NVIDIA 宣布多款模型将支持 NVFP4 和 FP8。现有更多 NVFP4 和 FP8 模型可直接在 ComfyUI 中使用,包括 LTX-2.3、FLUX.2 Klein 4B 和 FLUX.2 Klein 9B。用户使用时可在 ComfyUI 中通过模板浏览器加载默认工作流,并用新下载的模型文件替换默认模型 。

应用视图模式于 3 月 10 日上线。

更快的 4K 视频生成

获得高质量视频输出通常需要在三个限制条件之间进行权衡:速度、显存占用和可控制性。艺术家希望最终能获得 4K 高质量视频,但大多数情况下会先生成更小、更快的预览,然后再进行分辨率提升。目前的分辨率提升功能(Upscaler)将一段 10 秒的视频提升到 4K 分辨率通常需要数分钟时间。

现在,用户可以通过 NVIDIA RTX Video 超分辨率快速将生成的视频提升到 4K,该功能已作为 ComfyUI 的一个节点提供。RTX Video 可以作为独立节点使用,用于从零构建视频工作流。NVIDIA 为 AI 开发者发布了一个免费的 Python 软件包,可通过 PyPI 仓库获取,并提供示例脚本以便快速上手。该软件包提供对驱动 RTX Video 的同款 AI 分辨率提升技术的程序化访问,直接在 RTX GPU Tensor Cores 上运行,4K 分辨率提升速度比其他本地部署的主流分辨率提升功能快 30 倍,仅需极低的显存占用。

查看视觉特效艺术家 Max Novak 的视频,了解如何开始使用 ComfyUI: