解码 NVIDIA RTX 上的 AI 赋能上采样技术如何提高视频质量

作者 Brian Choi

编者注:本文属于《解码 AI》系列栏目,该系列的目的是让技术更加简单易懂,从而解密 AI,同时向 NVIDIA RTX PC 和工作站用户展示全新硬件、软件、工具和加速特性。

视频无处不在,目前有将近 80% 的互联网带宽被用于串流来自内容提供商和社交网络的视频。虽然屏幕变得比以往更大,也能支持更高的分辨率,但几乎所有视频的画质都只有 1080p 或更低。

上采样工具有助于锐化串流视频,并且可以借助由 NVIDIA RTX 驱动的 AI 显著提高图像质量并优化细节。

上采样工具是什么?

相比于图像或文本,视频文件要更大,因此更难压缩和传输。Netflix、Vimeo 和 YouTube 等平台通过对视频进行编码(一种将视频原始源压缩为更小的容器格式的流程)来解决这一限制。

首先,编码器会对视频进行分析,决定可以移除哪些信息来适应目标分辨率和帧率。然而,如果目标比特率不足,视频质量会下降,导致细节缺失和清晰度降低,还会产生编码伪影。文件越小,就越容易在互联网上共享,但其视觉效果也会变得更糟。

通常,观众设备上的软件会对视频文件进行上采样,以适应显示器的原生分辨率。然而,这些上采样工具相当简陋,只能通过像素倍增来达到所需的分辨率。这些工具有助于锐化物体和场景的轮廓,但最终的视频通常会带有编码伪影,有时看起来显得锐化过度,很不自然。

AI 可提供更好的方式

NVIDIA RTX 平台可利用 AI 轻松去除视频伪影,并对视频进行上采样。

使用 RTX 轻松消除伪影并优化视频。

在使用 AI 进行上采样的过程中,系统会分析图像和运动向量,进而生成原始视频中不存在的新细节。这并不是简单地倍增像素,而是在识别图像的样式后进行针对性的增强,以提供更出色的细节和视频质量。

在开始进行任何处理之前,必须先去除图像的伪影。伪影是指视频和图像文件中出现的不良失真和异常,它们是由传输和存储过程中的过度压缩或数据丢失导致的。

NVIDIA AI 网络可以去除图像伪影,帮助消除串流视频中时有出现的形似马赛克的块状图案。如果没有进行这第一个步骤,AI 上采样工具最终可能会增强图像伪影本身,而不是需要增强的内容。

超大尺寸视频

就像戴上一副验光眼镜就能瞬间看清眼前的世界一样,RTX 视频超分辨率作为 NVIDIA 在 AI 增强视频技术领域的最新创新之一,能够让用户看到更清晰的串流视频。

单击图像,查看双三次上采样(左)和 RTX 视频超分辨率之间的区别。

您可以在 GeForce RTX 40 和 30 系列 GPU 以及 RTX 专业 GPU 上使用此功能。借助在专用 Tensor Core 上运行的 AI,此功能可消除块状压缩伪影,并将低分辨率内容的分辨率提升至高达 4K,以便适配用户的原生显示器分辨率。

RTX 视频超分辨率可用于增强所有通过浏览器观看的视频。结合伪影去除与 AI 上采样技术,此功能甚至可以让低比特率 Twitch 串流内容变得异常清晰。VLC 等热门视频播放器同样支持 RTX 视频超分辨率,因此用户可以将相同的上采样流程运用于这些应用中的离线视频。

创作者很快就能在 Black Magic 的 Davinci Resolve 等编辑应用中用上 RTX 视频超分辨率,他们将能够比以往更轻松地将低质量视频文件的分辨率提升至 4K,并将标准动态范围源文件转换为高动态范围 (HDR)。

收获高动态范围体验

RTX Video 现在还支持 AI HDR。HDR 视频支持更广的色域范围,能够呈现出更出色的细节,尤其是在图像较暗和较亮的区域中。问题是,目前网络上还没有那么多 HDR 内容。

不妨体验一下 RTX Video HDR。只需打开此功能,AI 网络就会将任何标准或低动态范围内容转换为 HDR 内容,同时提供正确的色调映射,以便保留图案的原始色彩,使其看起来依旧自然。

AI 打满全场

RTX Video 只是由 NVIDIA RTX 提供支持的 AI 上采样技术的最新成果。

AI 使视频质量获得了远超以往的提升,为串流体验树立了新的标准。

请订阅《解码 AI》时事通讯,我们每周都会将新鲜资讯直接投递到您的收件箱