完美像素:RTX 视频超分辨率 (RTX Video Super Resolution) 现已引入 GeForce RTX 40 和 30 系列 GPU

AI 驱动的图像超分辨率功能以提升 Google Chrome 和 Microsoft Edge 浏览器上视频内容的质量。
作者 Brian Choi

随着 RTX 视频超分辨率 (RTX Video Super Resolution) (VSR) 的发布,GeForce RTX GPU 将提升 PC 版 Google Chrome 和 Microsoft Edge 浏览器上视频内容的质量。

如今,近 80% 的互联网流量来自于直播视频。其中 90% 的内容在 1080p 或更低的分辨率下传输,包括斗鱼,虎牙,哔哩哔哩等热门平台上的直播视频。

然而,当观众(如 PC 用户)使用高于 1080p 分辨率的显示器时,浏览器必须缩放视频以匹配显示器的分辨率。大多数浏览器使用基础的放大技术,这导致最终的图像色彩不够亮丽或画面模糊。

通过 RTX VSR,GeForce RTX 40 和 30 系列 GPU 用户可以利用 AI 将较低分辨率的内容提升到 4K,与他们的显示器分辨率相匹配。该技术中的 AI 可消除块状的压缩伪影,提高视频的锐度和清晰度。

就像戴上有度数的眼镜可以瞬间聚焦全世界一样,RTX 视频超分辨率 (RTX Video Super Resolution) 让 GeForce RTX 40 和 30 系列 PC 的用户能以清晰的画面观看视频直播。

玩家现可通过下载最新版 GeForce Game Ready 驱动获取 RTX VSR 支持,该驱动还为《原子之心》(Atomic Heart)和 THE FINALS 封测版等新推出的全新游戏带来最佳体验。

AI 图像放大技术 (AI upscaling) 的演变

AI图像放大技术 (AI upscaling) 是将低分辨率图像转换为高分辨率图像的过程,其通过将低分辨率图像输入深度学习模型来预测生成高分辨率图像。为提升预测准确性,神经网络模型必须在不同分辨率下用无数图像进行训练。

然后,部署的 AI 模型可以为低分辨率的视频带来令人难以置信的清晰度和丰富细节,这是传统的缩放技术无法重建的。AI 模型使边缘更锐利,毛发更真实,风景更清晰。

2019年,该技术的早期版本和 SHIELD TV 同时发布。该突破改进了针对电视的串流内容,针对从480p 分辨率到 1080p 分辨率的视频流,并优化120 寸屏幕的观看体验。

由于 4K 显示器不得不拉伸低分辨率图像以适应屏幕,导致视觉效果变得模糊。使用 AI 提升直播视频质量,让低分辨率的图像无与伦比的清晰。

PC 观众通常比电视观众更靠近显示器,因此需要更高等级的处理和细化来实现图像放大。用户可在GeForce RTX 40 和 30 系列 GPU 所拥有的极其强大的 Tensor Cores AI 处理器作用下,通过 RTX VSR 开启新一代的 AI 图像放大体验。

RTX 视频超分辨率 (RTX Video Super Resolution) 如何工作

RTX VSR是 AI 图像处理的一个突破,它超越了传统的边缘检测和特征锐化技术,极大地提升直播视频内容的质量。

块状的压缩伪影是直播视频长期存在的问题。无论是服务器、客户端还是内容本身的错误,在传统的图像放大中上述问题往往被放大,给直播观众带来不太愉快的观看体验。

点击图片,查看双立方插值视频放大(左)和RTX视频超分辨率(RTX Video Super Resolution)之间的区别。

RTX VSR 可减少或消除因压缩视频而产生的伪影, 如块效应、边缘的振铃伪影、高频细节的消失和平坦区域的带状现象, 同时减少纹理损失。它还能锐化边缘和丰富细节。

该技术使用深度学习网络,在单次推理中进行图像放大和减少压缩伪影。该网络分析低分辨率的视频帧并预测目标分辨率下的残差图像。然后,残差图像被叠加到传统的图像增强上,纠正伪影错误并锐化边缘以匹配输出分辨率。

该深度学习网络使用不同压缩程度的内容进行训练。它学习那些在未压缩图像中不存在,但存在于低分辨率或低质量视频中的压缩伪影的类型,把这些伪影及其未压缩图像作为网络训练的参考。深度学习网络还进行广泛的视觉评估,确保生成的模型适用于几乎所有的真实世界和游戏内容。

启用 RTX VSR

RTX VSR 需要使用 GeForce RTX 40 或 30 系列 GPU,并且几乎适用于 Google Chrome 和 Microsoft Edge 浏览器中的所有视频内容。

欲使用该功能,请更新到最新的 GeForce Game Ready 驱动(现已发布),或将于 3 月份发布的下一个NVIDIA Studio 驱动。Chrome 浏览器(110.0.5481.105 或更高版本)和 Edge 浏览器(110.0.1587.56 版)近期已新增 RTX VSR 支持。

要开启该技术,请打开 NVIDIA 控制面板,并打开”调整视频图像设置”。勾选”RTX 视频增强”下的超分辨率框,并选择质量 1 到 4 中的一个等级——质量等级表示图像增强的质量并且也有赖于 GPU 性能。

欲了解其他设置等更多信息,请查看 NVIDIA 知识库文章。