NVIDIA Research《用有限数据训练生成式对抗网络》白皮书上线

数据增强技术使 AI 模型能够基于大都会艺术博物馆的一个小型数据集来模仿艺术作品,并在医疗健康等领域开创全新的潜在应用
作者 Isha Salian

该配图由 StyleGAN2 借助 ADA 生成,仅仅基于大都会艺术博物馆收藏品 API 的不到 1,500 张图像的数据集进行了训练。

NVIDIA Research 的最新 AI 模型可谓生成式对抗网络(GAN)领域的“神童”。相较于典型的 GAN,它只需要基于极少量的学习材料,就能学习诸如模仿著名画家和重建癌症组织图像这样复杂的技能。

通过将一种突破性的神经网络训练技术应用于常用的 NVIDIA StyleGAN2 模型,NVIDIA 的研究人员基于大都会艺术博物馆中不到 1,500 张图像重新设计了艺术作品。他们使用 NVIDIA DGX 系统加速训练,从历史人物肖像中汲取灵感,创作出了全新的 AI 艺术作品。

这种称为自适应鉴别器增强(ADA)的技术能在将训练图像的数量缩减 10-20 倍的情况下,仍保持不错的效果。未来,该技术将会为医疗健康领域带来重大影响,例如,可通过创建癌症组织学图像来帮助训练其他 AI 模型。

NVIDIA 图形研究副总裁 David Luebke 表示:“这些研究结果意味着,人们可以使用 GAN 来解决大量数据过于耗时或难以获取的问题。我十分期待艺术家、医学专家和研究人员能够对其充分利用,实现更多应用。”

本周,这一项目的研究论文已在 第34届神经信息处理系统大会 NeurIPS 上发表。在本届大会上,NVIDIA Research 破纪录地有 28 篇研究论文入选,该论文就是其中之一。

这种新方法是 NVIDIA 研究人员在 GAN 领域的一系列创新中的最新成果。这些研究人员开发了基于 GAN 的突破性模型,包括AI绘画应用程序 GauGAN、游戏引擎模拟器 GameGAN 和宠物照片转换器 GANimal。这些模型在 NVIDIA AI Playground 均有提供。

数据训练的困境

像大多数神经网络一样,GAN 长期遵循一个基本原则:数据训练量越多,模型越完善。这是因为每个 GAN 都由两个配合的网络组成——一个生成合成图像的生成器,以及一个根据训练数据来学习逼真图像的鉴别器。

鉴别器会指导生成器,提供逐个像素反馈,以帮助其提升合成图像的真实感。但如果可供学习的训练数据有限,鉴别器就无法帮助生成器发挥其全部潜能,就如同新手教练的实战经验要比经验丰富的专家少得多。

要训练高质量的 GAN,通常需要 50,000 至 100,000 个训练图像。但在很多情况下,研究人员根本没有成千上万的样本图像可以利用。

仅使用几千张图像进行训练,许多 GAN 就会难以运行,无法产生逼真的结果。当鉴别器仅能记住训练图像而无法向生成器提供有用的反馈时,就会发生“过拟合”的问题。

在图像分类任务中,研究人员会通过数据增强来解决过拟合的问题。这项技术使用现有图像的副本来扩展较小的数据集,这些副本经过旋转、裁剪或翻转等过程而随机扭曲,从而迫使模型更加通用化。

但是,此前将增强技术应用于 GAN 训练图像时,生成器学会了模仿那些失真的图像,而非创建可信的合成图像。

GAN 的实战演练

NVIDIA Research 的 ADA 技术能够自适应地应用数据增强,这意味着在训练过程中的不同点上,可以调整数据增强的数量,以避免过拟合。这使诸如 StyleGAN2 这样的模型可以使用更少的训练图像,获得同样惊人的效果。

结果,研究人员可以将 GAN 应用于从前看来不切实际的应用中。在这些应用中,示例往往太少且难以获得,或收集大型数据集的工作太耗费时间。

艺术家使用了不同版本的 StyleGAN 来创作令人惊叹的展品,并根据传奇插画家 Osamu Tezuka 的风格创作了新的漫画。Adobe 甚至采用它来为 Photoshop 的全新 AI 工具“神经过滤器(Neural Filters)”提供支持。

由于入门所需的训练数据较少,因此采用 ADA 的 StyleGAN2 可应用于珍稀艺术作品,例如总部位于巴黎的 AI 艺术团体 Obvious 在非洲科塔面具上的作品。

另一潜在应用是医疗健康领域,因为大多数检查结果都是正常的,因此罕见疾病的医学图像可能非常稀少。要想积累大量有用的异常病理切片数据集,需要医学专家花费大量时间,辛苦地进行标记。

通过 GAN,采用 ADA 创建的合成图像可以填补这一空白,为另一种 AI 模型生成训练数据,从而帮助病理学家或放射学家发现病理图像或 MRI 研究中的罕见病情。此外,借助 AI 生成的数据,就不存在患者数据或隐私方面的担忧,更便于医疗机构共享数据集。

NVIDIA Research NeurIPS 上大放异彩

NVIDIA Research 成员团队由全球 200 多名科学家组成,致力于 AI、计算机视觉、自动驾驶汽车、机器人技术和图形学等领域。12 月 6 日至 12 日期间举办的年度最大的 AI 研究会议 NeurIPS 曾重点介绍了 NVIDIA研究人员撰写的 24 余篇论文。

该研究结果(中文版)已于 NVIDIA 官方网站发布。