现代版神笔马良:GauGAN将涂鸦点睛为逼真画作

by Isha Salian

NVIDIA研究利用生成式对抗网络创建高度逼真的场景。

一位新手画家可能会遇到这样的尴尬:提笔之初,原本设想的本来是一幅令人为之惊叹的日落景观——玻璃般的湖面反射出白雪皑皑的蜿蜒山脉,然而最后画出的效果却只是画布上层层的墨迹。

但是,NVIDIA Research开发的深度学习模型却能将这一情形逆转:它能将粗略的涂鸦转变成令人叹为观止的逼真杰作。这一工具利用生成式对抗网络(GAN),能够将分割图转换为栩栩如生的图像。

基于该模型的交互应用程序被命名为GauGAN(发音似“高更”),以致敬后印象派画家高更(Gauguin)。

后印象派画家保罗·高更曾创作过几幅自画像,其中包括金贝尔艺术博物馆收藏的创作于1885年的作品。(照片来自Wikimedia Commons, 获许可允许公开使用)。

GauGAN为各行各业的专业人士提供了一个能够创建虚拟世界的强大工具——从建筑师、城市规划者、到景观设计师和游戏开发者。借助知晓现实世界的真实样貌的AI,这些专业人士能构思出更加出色的原型创意,并对合成的场景进行快速修改。

NVIDIA应用深度学习研究副总裁Bryan Catanzaro表示: “通过把简单的速写转换成高度逼真的图像,这一项技术能够将头脑风暴的设计方式变得更加容易。”

Catanzaro将GauGAN所采用的技术比作 “智能画笔” ,它能够填充粗略分割图(即显示场景中物体位置的大致轮廓图)中的细节。

借助于GauGAN,用户能够绘制自己的分割图并构建场景,并用沙子、天空、海洋或雪等标签对每个部分进行标记。

该深度学习模型接收过一百万张图像的训练,能够对风景画进行填充,从而呈现精彩绝伦的效果:让你仿佛置身一座池塘中,附近的树木和岩石等元素都倒映在水中。如果将分割标签从“草”切换为“雪”,整个图像也会随之会变为冬季场景,之前青葱的绿树也将凋谢。

“这就像一本填色图册里的图画,其中描绘了树木、太阳和天空的位置,” Catanzaro说道。“然后神经网络会根据其对真实图像的了解,为图片填充所需的细节和纹理,以及反射、阴影和颜色。”

尽管GAN对真实的物理世界缺乏理解,但它却能够生产足可以假乱真的效果,这是因为它所采用的结构是一对合作式的网络:生成网络和判别网络。生成网络会创建图像并展示给判别网络;判别网络接受过基于真实图像的训练,能够逐像素地为生成网络提供反馈,并对其进行指导,教会其如何提升合成图像的真实感。

接受过真实图像训练的判别网络知道真实的池塘和湖泊会产生反射,通过判断网络的反馈,生成网络也将习得如何模仿这一效果,从而创建出令人信服的图像。

用户还能够使用这一工具添加样式过滤器,更改生成的图片的风格,模仿特定的画家画风,或将一幅白昼场景转化为日落景象。

“这项技术不是简单将其他图像拼接在一起,或是进行纹理切割和粘贴,”Catanzaro说道。“事实上,它是在合成新的图像,这很像艺术家的绘画方式。”

虽然GauGAN应用程序专注于陆地、海洋和天空等自然元素,但其潜在神经网络也能够填充其他景观元素,包括建筑物、道路和人。

去年6月,GauGAN的相关研究论文从5000多篇论文中脱颖而出,在CVPR会议上做展示介绍(录取率仅为5%)。

# # #

关于NVIDIA

NVIDIA(纳斯达克股票代码:NVDA)在1999年发明的GPU激发了PC游戏市场的增长,重新定义了现代计算机显卡,并且对并行计算进行了革新。最近,通过将GPU作为可以感知和理解世界的计算机、机器人乃至自动驾驶汽车的大脑,GPU深度学习再度点燃了全新的计算时代——现代人工智能。更多信息,请访问http://nvidianews.nvidia.com/