NVIDIA 与 SMI 联手打造创新性渲染技术,改进 VR 画质

作者 英伟达中国

主讲人:NVIDIA 图形研究部门副总裁 David Luebke 和 NVIDIA 研究部门总监 Aaron Lefohn

在你的边缘视觉里,少即是多。

NVIDIA 研究人员利用 SMI 最新的眼动追踪技术,开发符合人眼生理学的新技术,以提高 VR 成像的视觉保真度。

在 7 月 24-28 日于加州阿纳海姆召开的 SIGGRAPH 计算机图形年会上,我们将播放简单的演示内容。戴上集成有眼动追踪技术的头戴式显示器,转头看看有黑板和桌椅的虚拟教室场景,看起来很不错,对吧?

现在盯着老师的椅子,关闭眼动追踪功能,然后转头再看一次。此时只会细致渲染椅子周围区域的画面。你的边缘视觉里所呈现的是不那么细致的画质,而你分辨不出其间的差异。

这项全新的以感知为基础的注视点渲染技术可不只是吸引人的花招而已,它会将计算资源用在最重要的地方,从而让开发人员打造出更加身临其境的虚拟环境。

哪些特点让 NVIDIA 的注视点渲染技术显得与众不同

人的视觉可以想成分为两个部分:中央凹和边缘视觉。视网膜上一小块名为中央凹的区域密布着感光的视锥细胞,用于提供清晰细致的视觉;而边缘视觉的视野范围较大,但不太敏锐。

No Foveation
有模糊中央凹注视效果的图像

这种敏锐度差异为开发注视点渲染系统提供了灵感,该系统会追踪用户的注视点,用较低的图像画质渲染边缘景象,以提高图形性能。不过,注视点渲染做得太过头的话,会看出显著的人为痕迹,比如闪烁、模糊或“视野狭窄”感。

我们的研究人员运用 SMI 的眼动追踪原型头戴式显示器 (HMD),谨慎进行一项感知研究,想要了解人们在 VR 环境的边缘视觉里实际会看到什么。然后,研究人员使用这些见解来设计新的渲染算法,能在不让视觉质量显著降低的情况下,达到更好的中央凹注视效果或是减少渲染作业。

Foveated image
有模糊中央凹注视效果的图像

由 Anjul Patney、Joohwan Kim 和 Marco Salvi 带领的 NVIDIA 研究团队发现现有的注视点渲染技术

会在边缘视觉里产生模糊或闪烁的情况,因此,该团队努力去了解人类在边缘视觉里挑选了哪些细节(比如颜色、对比度、边缘和动作)。

举例来说,他们发现如果中央凹注视效果过于显著,则采用传统方法为边缘视觉渲染低分辨率图像会出现让人分心的闪烁画面。他们还发现单纯让人眼外围区域挑选的图像产生模糊效果会降低对比度,从而造成视野狭窄之感。

Image with contrast preserving foveation.
保留对比度的中央凹注视效果的图像。

但是,在结合模糊和保留对比度的情况下,他们发现用户在看到注视点与非注视点图像的差异前,对模糊的容忍度会提高多达两倍。

Patney 说:“那很重要,因为在 VR 环境中,所需的帧率和分辨率都比以往更快更高。”

眼动追踪技术的潜力

如果没有德国计算机视觉应用程序开发商 SMI 的鼎力支持,便无法完成这段演示内容。该公司的技术原理是用红外线光包覆每个头戴式显示器镜头的边缘。再搭配 SMI 的软件,使得计算机能以超快的速度精确检测出人眼注视的方向。

注视点渲染技术只是 SMI 眼动追踪 VR 技术的其中一个应用项目。该技术还能用于个人显示器矫正、无障碍自然互动、社会临场感和全新的分析见解。

了解详情

有关所有详情,请访问我们的项目专页。如想亲眼欣赏演示内容,请前往 SIGGRAPH 年会“新兴技术”区的 NVIDIA 展位。也别忘了通过 #SIGGRAPH2016 关注我们在年会的最新动态。