ICLR (International Conference on Learning Representations) 于4月30日至5月3日在温哥华举行,五支NVIDIA研究团队将分享他们在深度学习方面的研究成果。
NVIDIA研究团队有200多名成员,他们遍布全球11个不同的地点,致力于推动机器学习、计算机视觉、自动驾驶汽车、机器人、图形等其他领域的技术进步。
本届ICLR聚焦最新的深度学习技术,NVIDIA是本次会议的其中一位赞助商,NVIDIA深度学习培训中心(DLI)也提供了免费的在线培训。
快速生成逼真面孔
在面部生成研究中,来自NVIDIA芬兰实验室的一个团队研发出了训练生成式对抗网络 (GAN) 的方法,得出了比使用现有技术更好的结果。研究人员将该方法应用于生成逼真人脸这一难题,并获得了成功。
在ICLR上,研究人员探讨了题为《Progressive Growing of GANs for Improved Quality, Stability, and Variation》,并解释他们如何得出这样完美的结果以及其技术背后的依据。
“一直以来,人类的相貌都带有些许神圣感。例如,在电影制作中,如果不以真人演员作为参考,就很难创作出生动逼真的虚拟角色,”这篇ICLR论文的第一作者Tero Karras说道,“借助深度学习和本次研究,我们离这一目标正越来越近。”
神经网络通过将性别、发型和脸型等特征以不同的方式进行混合来生成新的人脸。下面的视频展示了随机变化这些特征的结果,并说明了将会有无数个可能的组合。
该项研究将帮助游戏开发人员更快更轻松地打造更加逼真的虚拟人物,Karras说道。他还了解到,有一支团队正打算使用该项研究来帮助患有人面失认症或脸盲症(一种神经紊乱疾病,患者无法识别人脸)的人群。
更多研究成果
其他深度学习研究还包括:
在多台机器上训练神经网络是训练深度和较大模型的一种高效的方法,但是这种方法需要价格昂贵的高带宽通讯网络。通过这项研究,我们可以在更多GPU上更快地训练模型,而该训练在价格低廉的通用以太网网络上即可完成。
工程师将结合模型剪枝技术,得到一种在GPU上更加高效地运行递归神经网络的方法,该技术可降低神经网络的复杂性。结果极大地提高了模型的运行速度,并且可以在每个GPU上部署更大的神经网络。
卷积神经网络是一种计算密集型网络,因此很难将其部署在移动设备上。研究人员对所谓的基于Winograd 的卷积算法(用于减少处理CNN所需的计算数量的方法)进行更改,以便与网络剪枝(一种在神经网络中减少参数和增加速度的方法)结合使用。通过结合这两种方法,不仅可以减轻计算工作负载,还便于研究人员更加积极地剪枝网络。
混合精度训练利用NVIDIA Volta TensorCores加快训练速度并降低内存需求,进而可以训练较大的模型。使用论文中所述技术可达到匹配单精点结果的模型准确性,而无需更改任何超参数。