梦寐以求的直播:NVIDIA RTX Broadcast Engine 通过 AI 技术实现全新 Twitch 直播效果

by game

新的 SDK 提供 AI 虚拟绿幕、增强现实和风格化滤镜功能;在 9 月最后一个周末的 TwitchCon 上,OBS 展台进行了 AI 虚拟绿幕的展示。

在全球顶级的直播者盛会 TwitchCon 上,我们率先推出了 RTX Broadcast Engine,这是一套全新的 RTX 加速软件开发套件,利用 GeForce RTX GPU 的 AI 功能让直播内容生动多样化。

这个新的 SDK 在 RTX GPU 上由称为“Tensor Cores”的专用 AI 处理器提供支持,可实现虚拟绿幕、风格化滤镜和增强现实效果——这类技术主要应用于互联网直播——全部这些功能都使用 AI 技术且无需额外添加设备。

游戏直播已成为一种文化现象,全世界观看视频游戏直播的人数超过 7.5 亿。TwitchCon 是全球直播活动的盛典。9 月最后一个周末,超过 50000 名游戏主播和粉丝聚集在美国圣地亚哥,与他们喜爱的游戏玩家碰面,并共同了解直播业的未来。

RTX 将 AI 技术引入直播

NVIDIA GPU 已经成为最受 PC 游戏主播欢迎的选择。除了游戏,他们还利用 NVIDIA GPU 编码视频并将视频流传输到 Twitch、YouTube、Mixer、虎牙和斗鱼等平台。

借助 RTX Broadcast Engine 的 AI 功能,NVIDIA 宣布了一种新的直播方式——无需特殊的摄像头或实体道具,即可通过 NVIDIA GPU 来实现更具有沉浸感的直播效果。

新增 SDK 包括以下功能:

  • RTX 虚拟绿幕,可以实时的将摄像头拍到的背景画面剔除,只有主播的脸和身体才会出现在直播中。RTX 虚拟绿幕的 AI 算法可以了解图像的哪部分是人,哪部分是背景,因此游戏玩家无需购买和架设实体绿幕,即可轻松实现这个效果。
  • RTX AR,这一功能可以检测主播面部,跟踪诸如眼睛、嘴巴等面部特征,可以对人脸进行 3D 建模,从而让普通摄像头实现实时增强现实的效果。开发人员可以使用它来创建有趣的 AR 效果,例如将 3D 内容叠加在脸上或支持主播用自己的脸部表情来控制 3D 角色。
  • RTX 风格化滤镜,它使用一种称为风格转换的 AI 技术,可以根据另一幅图像的样式来转换摄像头采集的画面。通过简单的一键转换,主播可以使用自己喜欢的图片或游戏美术来设置视频源的样式。

NVIDIA 和 OBS 携手为游戏玩家带来 RTX 虚拟绿幕

除此之外,我们还与领先的直播应用程序 OBS 合作,为游戏玩家集成 RTX 虚拟绿幕。有了它,主播们将能够在直播中轻松去掉他们的背景环境,或者将自己随时“传送”到世界各地甚至虚拟世界中的任何地方。此功能已在 TwitchCon 上首次亮相,并将在未来几个月内提供给用户。

OBS 作者 Hugh Bailey 表示,“在购买直播和录制设备时,NVIDIA 一直是我的不二之选。他们的产品总是能给我不断制造惊喜,由其技术打造的 RTX 功能(例如 RTX 虚拟绿幕)更是令人叹为观止。”

直播生态系统支持 NVIDIA Broadcast SDK

借助 RTX Broadcast Engine,整个直播生态系统内的直播应用程序均能为主播创建沉浸式工具和效果,进而吸引观众并提高收视率。

Streamlabs 的首席执行官 Ali Moiz 表示,“全新 RTX Broadcast Engine 是一次令人兴奋的飞跃,它使我们应用商店的开发者能够利用 NVIDIA RTX GPU 为主播打造功能强大的新工具。我们很高兴能继续携手 NVIDIA 将新功能带入 Streamlabs 开发者社区,并万分期待这项新技术的实施。”

XSplit 的开发技术推广部总监 Miguel Molina 表示,“多年以来,我们与 NVIDIA 在许多项目上开展合作,而迄今最令人兴奋的一次正是 NVIDIA RTX Broadcast Engine 的引入。对 XSplit 团队而言,我们很高兴将这些新工具集成到我们的应用套件中,使我们的用户能更大限度地发挥 NVIDIA GeForce RTX 的潜能,进而完成更优质的内容创作。”

为打造更快速的高质量直播,除 RTX Broadcast Engine 外,OBS、XSplit、虎牙、斗鱼和 Streamlabs 等领先应用程序均已部署 NVIDIA Video Codec SDK。本月,以下三项新集成将首次亮相:

  • Twitch Studio,这款易于使用的全新应用程序面向主播新人,目前处于测试阶段,并通过集成 Video Codec SDK 来实现高质量直播。
  • Discord,这款全球领先的游戏聊天应用程序刚刚推出了一项称为“Go Live”的全新群组直播功能,该功能可利用 NVIDIA GPU 和 Video Codec SDK 加速 Discord 中的游戏直播。
  • Elgato,这是全球领先的游戏视频采集卡制造商之一。近期,该制造商将 Video Codec SDK 集成至其新款 4K60 Pro MK.2 采集卡的软件,从而实现在高动态范围内下录制 60fps 的 4K 视频。

开发者可访问 developer.nvidia.com/broadcastengine,以进一步了解 RTX Broadcast Engine 和申请抢先体验资格。或者,您也可回顾 TwitchCon 上的 OBS 展位(1823 号展位),我们曾在那里展示 OBS 中的 RTX 虚拟绿幕、全新 RTX Studio 笔记本电脑以及即将发布的 RTX 游戏。