贴图帮手:NVIDIA Research展示生成式AI如何帮助创建和编辑逼真的材质

研究人员展示能够快速创建和编辑材质的AI技术,助力加速3D工作流。
作者 英伟达中国

在SIGGRAPH上,NVIDIA的研究人员展示了一种可以帮助艺术家快速创建和迭代3D场景材质的生成式AI工作流。

这项研究的演示现身SIGGRAPH展会Real-Time Live 活动,展示了艺术家如何利用文本或图像提示来更快地生成织物、木材和石材等自定义纹理材质,同时对创作进行更加精细的把控。NVIDIA Picasso将提供这些功能,使企业、软件创作者和服务提供商能够使用其经过完全授权的数据来开发自定义生成式AI材质模型。

这套AI模型将促进材质创建和编辑的迭代,使企业能够提供新工具来帮助艺术家快速完善3D对象的外观,直到达到想要的效果。

在演示中,NVIDIA研究人员在AI的辅助下,像室内设计师一样尝试用3D渲染应用制作了一个客厅场景。这次研究人员使用的是NVIDIA Omniverse USD Composer——一个使用通用场景描述(即OpenUSD)进行场景组装和构图的参考应用。他们使用这个应用添加带有砖纹理的墙壁,创建和修改沙发与靠垫的织物选项,并在墙壁的特定区域加入一个抽象的动物设计。

生成式AI推动实现设计迭代

这次Real-Time Live演示结合了几个经过优化的AI模型,开发者将能够使用Picasso来自定义这些工具,并将其集成到专为艺术家打造的创意应用程序中。

在这些功能集成到创意应用中后,艺术家只需要输入简短的文本提示就能生成砖块或马赛克图案等材质。这些材材质可以平铺,所以可以在任何大小的表面上无缝复制。他们还可以导入参考图像,比如一块法兰绒织物,然后将其应用于虚拟场景中的任何对象。

AI编辑工具可以让艺术家修改他们正在处理的材质的特定区域,例如咖啡桌纹理的中心。

这些AI生成的材质支持符合物理学的渲染,可以逼真地对场景光照的变化作出响应。其所包含的法线、粗糙度和环境遮挡贴图等功能对于创建和微调逼真3D场景的材质至关重要。

NVIDIA Tensor Core GPU的加速下,艺术家可以近乎实时地生成材质并在后台升级,可实现高达4K的分辨率,同时创作者可以继续完善场景的其他部分。

在建筑、游戏开发和室内设计等创意产业中,这些功能可以帮助艺术家快速挖掘创意并尝试不同的美学风格,创造出多个版本的场景。

例如,游戏开发者可以使用这些生成式AI功能加速开放世界环境设计,或创建角色的服装等。建筑师可以在不同的照明环境中尝试不同风格的建筑立面设计。

使用NVIDIA Picasso构建生成式AI服务

这些符合物理学的材质生成功能都将在NVIDIA Picasso中提供。NVIDIA Picasso是一个云平台,企业能够在其上构建、优化和微调用于视觉内容的生成式AI基础模型

借助Picasso,内容提供商能够基于完全授权的版权数据开发并训练生成式AI工具和服务。Picasso隶属于NVIDIA AI FoundationsNVIDIA AI Foundations是一套模型制作服务,旨在推动生成式AI在文本、视觉内容和生物学领域的应用。

SIGGRAPH主题演讲中,NVIDIA创始人兼首席执行官黄仁勋还宣布了一项新的Picasso功能——根据简单的文本或图像提示生成逼真的360 HDRi环境贴图,并以此为3D场景增色。

在SIGGRAPH Real-Time Live 活动上了解该研究

Real-Time Live是SIGGRAPH上最受期待的活动之一。今年,该活动将展示十多个经过评审的项目,包括Roblox、犹他大学以及NVIDIA初创加速计划(旨在培育尖端初创企业的项目)成员Metaphysic的项目。

在活动中,NVIDIA的研究人员现场展示了这种交互式材质研究,包括演示超分辨率工具。

与NVIDIA一起参加SIGGRAPH,了解生成式AI、图形学等方面的最新进展。本届展会将持续到太平洋时间8月10日星期四。