3D动作捕捉技术大升级,助您轻松变身“动画大师”

by 英伟达中国

一个深入人心的动画角色,首先得生动。但是,让虚拟角色变得栩栩如生却并非易事。

动作捕捉技术通过录制并以数字化方式复制人类运动来制作3D动画。在《指环王》系列电影中,安迪·瑟金斯(Andy Serkis)便通过动作捕捉技术扮演了哈比人咕噜(Gollum)一角。

但是,传统的动作捕捉技术需要依靠大量昂贵而笨重的硬件才可完成。同时,进行动作捕捉时,还要求能娴熟操作多机位摄像设置的专业人员、特定的演播环境,以及演员所穿戴的特殊传感器装备。

“传统动作捕捉技术所需的费用、技能要求及时间成本让人望而却步。”RADiCAL联合创始人兼首席执行官Gavan Gravesen说道。RADiCAL公司位于纽约,是NVIDIA初创加速计划的一员。如其公司名“RADiCAL”所代表的含义,该公司定位于突破传统技术束缚。“我们致力于以低成本实现技术的普遍可用性、无缝集成,以及运行速度,” Gavan Gravesen表示。

游戏开发者、3D 图形艺术家、制片人和 AR/VR 爱好者只需一部 2D 相机,甚至手机相机,即可使用RADiCAL基于NVIDIA GPU 的AI解决方案进行3D动作捕捉,而无需其他硬件、演播室环境或精密的传感器装备,并显著降低了制作成本和工作量。

快速的动作捕捉

世界各地的用户可以通过智能手机或网络直接将视频上传至RADiCAL云。RADiCAL利用AI和动作科学处理视频,检测动作形态,并在三维空间中重现人类动作,甚至可以重建摄像机未拍摄到的内容。

RADiCAL解决方案的算法可根据不同身体比例和人体动作自动调整,还可创建模型,在三维空间中复制动作。虽然模型中的流畅动作使得制作过程看起来很简单,但事实并非如此。

“我们需要将深度学习、机器人、计算机视觉和生物力学技术整合在一起,而这需要借助功能强大的 AI 开发环境,”RADiCAL联合创始人兼首席技术官Anna-Chiara Bellini表示。NVIDIA GPU计算为这一目标的实现发挥了重要作用。

实现快速迭代

Bellini表示,如何处理海量数据是RADiCAL开发AI过程中面临的首要挑战。为了开发算法,单张静止图像就需要分析多达 6GB 的数据。而每一秒的动作包含120帧,需要创建720GB数据。

Bellini及其团队选择使用TensorFlow,以将GPU编程集成到其研究过程中,如此他们便可以获得适用于整个管线的“单一执行模型(single execution model)”。“通过使用在CUDA中编写的专门的内核增强TensorFlow,在进行模拟仿真时,短短几个小时内编写的简单内核能够节省数天时间”,她说。

为了支持动作模型,RADiCAL在多卡互联系统中采用交错方式进行多帧处理。“能够并联多个Tesla V100 GPU的最新NVIDIA NVLink使之成为可能。”Bellini说。

借助基于云的GPU并联设备,Bellini及其团队的开发周期(包括构思、部署及制作)缩短了10倍。

她说:“借助NVIDIA GPU,我们可以加快工作速度、探索更多选择,且更高效地利用机器学习工程师的时间。”

随时可用的动画文件

视频处理完毕后,RADiCAL能够通过其网站和MOTiON应用程序,并排呈现实时3D预览与真实的视频片段。

用户也可以通过可用于3D动画、增强现实、VR、游戏引擎及其他3D图形程序和内容频道的格式下载其作品的动画文件。

最近,RADiCAL面向创意行业的早期采用者开放了一款公测版程序。该公司计划在几周内全面投放市场。

初创加速计划

NVIDIA的初创加速计划已有近2800家初创公司,RADiCAL也是其中一员。初创加速计划为初创公司提供技术、专业知识和营销支持,帮助他们加速发展。