计算机图形和 AI 是 NVIDIA 的基石。它们强强联合,助力创作者向实时渲染电影级画质 3D 图像的目标迈进。
在今年夏天的一系列图形大会上,NVIDIA 研究团队将分享实时路径追踪和内容创作方面的突破性工作,其中大部分都基于尖端 AI 技术。这些项目利用推动实时渲染技术进步的新工具,来解决图形领域尚未解决的最棘手的问题。
一个目标是提升渲染光线在穿过毛皮或雾等复杂材质时的真实感。另一个目标是帮助艺术家更轻松地将其创意愿景转化为栩栩如生的模型和场景。
这些研究进展在本周的 SIGGRAPH 2021 大会以及近期的高性能图形大会和欧洲图形学会渲染研讨会上均有展示,重点介绍了 NVIDIA RTX GPU 如何将逼真的实时图形进一步推向前沿。
实时渲染逼真图像需要准确模拟光线,对与现实世界中相同的光线控制定律进行建模。路径追踪是目前已知最有效的方法,需要大量计算资源,但是可以呈现壮观的图像。
NVIDIA RTX 平台专为这项任务量身定制,采用专门的光线追踪硬件和高性能 Tensor Core 实现 AI 模型的高效评估。但在某些情况下,创建高保真度渲染图像仍然充满挑战。
举个例子,一只老虎在森林中潜行。
看见光线:实时路径追踪
为了让场景完全逼真,创作者必须渲染复杂的光照效果,例如反射、阴影和看得见的薄雾。
在森林场景中,斑驳的阳光透过树叶,与浓雾中悬浮的水分子交织成朦胧的画面。渲染逼真的云层实时图像、布满灰尘的表面或者这样的薄雾,曾经是遥不可及的事情。但是 NVIDIA 研究人员开发了一些技术,通常能够将这些现象的视觉效果计算效率提高 10 倍。
老虎本身既被阳光照耀,又有树荫遮蔽。当它在森林中大步穿行时,下面的池塘中倒映着它的身影。照亮这些包含直接和间接反射的丰富视觉效果,可能需要为场景中每个像素计算数千条路径。
这项任务的资源需求量太大,无法实时解决。因此,我们的研究团队创建了一种路径采样算法,优先确定最有可能形成最终图像的光线路径和反射,从而使图像的渲染速度比之前快 100 多倍。
老虎的 AI:神经辐射缓存
另一组 NVIDIA 研究人员采用一种名为神经辐射缓存的新技术,在全局照明领域实现了突破。这种方式使用 NVIDIA RT Core 进行光线追踪,同时使用 Tensor Core 进行 AI 加速,以便在实时训练微型神经网络的同时渲染动态场景。
神经网络会学习光线在整个场景中的分布方式。当在 NVIDIA GeForce RTX 3090 GPU 上运行时,它每秒评估超过 10 亿次全局照明查询,以交互式帧率描绘老虎致密的皮毛,具有之前无法实现的丰富的光照细节。
完美创建难以实现的纹理
随着渲染算法的进步,至关重要的一点在于可用的 3D 内容与算法能够具备的复杂性和丰富性保持一致。
NVIDIA 研究人员正在通过开发各种技术来深入探索这一领域,这些技术能够支持内容创作者对丰富而逼真的 3D 环境进行建模。其中一个重点领域是具有丰富几何复杂性的材质,传统技术难以模拟这些材质。
Polo 衫的编织式样、地毯的纹理或者草叶,它们的特征通常远远小于一个像素的大小,难以高效地存储和渲染它们的表示形式。NVIDIA 研究人员正在通过 NeRF-Tex 来解决这个问题,这种方式使用神经网络来表示这些具有挑战性的材质,并将它们对光照的反应进行编码。
见树亦见林
复杂的几何物体,根据它们与观察者的距离,其外观也各不相同。茂密的树就是一个例子:靠近时,树枝、树叶和树皮都有极其丰富的细节。而从远处,它可能看起来不过是一团绿色。
在场景中森林另一头的一棵树上渲染细节分明的树皮和树叶,只会浪费时间。但在放大特写时,模型应该尽可能真实。
这是计算机图形领域的一个经典问题,称为细节层次。艺术家常常会面临这种挑战,手动建模每个 3D 物体的多个版本,以实现高效的渲染。
NVIDIA 研究人员开发了一种新方法,基于逆向渲染法自动生成简化的模型。借助该方法,创作者可以生成简化的模型,这些模型在经过优化之后看起来与原始模型别无二致,但其几何复杂度大幅降低。
NVIDIA 在 SIGGRAPH 2021 大会上的风采
全球 200 多名科学家组成了 NVIDIA 研究团队,专注于 AI、计算机图形、计算机视觉、自动驾驶汽车、机器人等领域。在 8 月 9 日至 13 日举行的 SIGGRAPH 大会上,我们的研究人员将发表以下论文:
请勿错过太平洋时间 8 月 10 日上午 8:00 举行的 SIGGRAPH 大会上的 NVIDIA 特别演讲,届时我们将展示最新技术、演示和其他内容。请在太平洋时间 8 月 10 日下午 4:30 观看我们的实时现场演示,了解 NVIDIA 研究团队如何创建 AI 驱动的数字化身。
我们还将在 8 月 11 日进行电竞领域的实时图形挑战小组讨论。您可以通过 SIGGRAPH 新兴技术计划按需获取交互式电竞演示。
如需了解更多信息,请查看 SIGGRAPH 2021 大会上的 NVIDIA 活动完整安排。