使用 VRWorks 360 Video SDK 实时拍摄、拼接和流式传输 VR 内容

作者 英伟达中国

为了让开发人员和内容创作者能够拍摄和播放出色的 360 度全景内容,NVIDIA 扩展了 VRWorks SDK 的功能,加快了 360 度视频拼接的速度。

如今,蓬勃发展的 VR 市场里有两大类型的内容:一是实时渲染的应用程序,二是拍摄的 360 度全景视频。

众所周知,NVIDIA GPU 可以超高帧速率为 VR 头盔上的显示器渲染实时图形。

尽管在 VR 装置里观看 360 度全景视频不需要使用强大的 GPU,但在这些视频的制作过程中,图形处理器变得日益重要。这是因为 360 度视频通常是使用多达 16 台 4k 分辨率的摄像机拍摄的,然后使用称为“视频拼接”的这项需耗费巨大计算资源的操作技术将画面处理成一个 360 度全景视频。

通过许多摄像机和角度进行拍摄,然后将这些连续镜头拼接在一起创作 360 度全景视频,使得剪辑过程困难重重。镜头间的连贯性、清晰可见的接缝和边缘模糊情况,以及各台摄像机色彩和曝光度不一致,都会让观众在观看时觉得画面不真实。再加上内容的类型和连续镜头的长度,得花上数小时才能完成拼接和流式传输过程。

VRWorks 360 Video 可让内容创作者从多达 32 台摄像机中获取视频源,再以离线或实时*的方式将这些视频拼接成一个 360 度全景视频。SDK 执行 GPU 加速视频解码、等化、校正、拼接和编码等操作,创作出高画质、高性能的视频。此外,它还允许使用自定义摄像机装置和摄像机参数,以及多款鱼眼镜头。

360 Video SDK 还兼容 NVIDIA 的 GPUDirect for Video,在将视频从摄像机装置采集到 GPU 的过程中产生低延迟。

“拍摄和拼接 360 度全景视频是一个耗时且需要巨大计算资源的过程,”STRIVR 首席技术官 Masaki Miyanohara 说,“NVIDIA 的 VRWorks 360 Video SDK 将有助于加快 STRIVR 工作流程的速度,提供实时的高质量 360 度全景视频。”

NVIDIA 将于本周在加州阿纳海姆市举行的 Siggraph 计算机图形及互动技术展览大会上展示 VRWorks 360 Video SDK 的实际操作情况,演示用的笔记本电脑配备有采用 NVIDIA Pascal 架构的 Quadro GPU,使用 SDK 实时拼接 4k 分辨率摄像机装置拍摄的视频,几乎察觉不到延迟情况。

NVIDIA 将于今年年底公开发布此 SDK,供 VR 开发人员和内容创作者使用。在 VRWorks 开发人员页面上注册,便可在 360 Video SDK 可供下载时收到通知。

通过 #SIGGRAPH2016 关注 Siggraph 大会的全部最新动态。

*实时拼接的视频流数量可能受限于视频采集能力或系统性能。