编者注：本文属于《解码 AI》系列栏目，该系列的目的是让技术更加简单易懂，从而解密 AI，同时向 NVIDIA RTX PC 和工作站用户展示全新硬件、软件、工具和加速特性。
AI 为计算领域带来了深远的改变。虽然最近的焦点是生成式 AI，但多年来，由 NVIDIA RTX 提供支持的 AI 加速工具也在改善游戏、内容创作和工作效率方面起到了关键作用。
NVIDIA Broadcast 应用程序就是一个例子，它可使用本地 RTX GPU 上的 Tensor Core 不间断地提升音频和视频质量。通过将这款应用与 GeForce RTX 和 NVIDIA RTX GPU 内置的 NVIDIA 编码器 (NVENC) 搭配使用，您可轻松上手直播，或在视频会议通话中尽展专业风范。
助力实现“直播梦”
一直以来，要实现高质量的直播，就离不开昂贵硬件的支持。许多主播常用 x264 软件库的软件 CPU 编码，而这通常会影响游戏体验。这便导致许多主播使用双 PC 设置：一台 PC 专注于游戏和内容，另一台负责视频编码与串流。这种设置组装起来很复杂，还很难进行故障排除，而且其价格对于新人主播来说通常过于高昂。
NVENC 可应对上述问题。它是 NVIDIA GPU 上的专用硬件视频编码器，负责处理视频编码，以便释放系统的其余资源来专注于游戏和内容的性能。Open Broadcaster Software (OBS) 等行业领先的直播应用正在添加对 NVENC 的支持，为虎牙和 Bilibili 等热门平台上的新一代主播铺平道路。
同时，NVIDIA Maxine 还可帮助解决设备昂贵的问题。它包含免费的 AI 增强功能，例如虚拟绿幕和基于网络摄像头的增强现实追踪。有了这些功能，用户便无需使用物理绿幕或动作捕捉套件等特殊设备。主播们曾在 2019 年的 TwitchCon 大会上首次体验到了上述绿幕技术，他们使用 GeForce RTX 2080 GPU 上的 AI 加速绿幕，在展厅中现场测试了该绿幕在 OBS 上的效果。
Maxine 的 AI 赋能效果最初在 RTX Voice 测试版中向 RTX 用户开放，随后又在名为 NVIDIA Broadcast 的独立应用中提供。
探索 NVIDIA Broadcast
NVIDIA Broadcast 提供各类 AI 增强功能，可提升各种用例中的音频和视频质量。它易于使用，适用于任何其他应用，而且设置起来非常简单。
这款应用包含：
- 噪音和回声移除：只需点击一个按钮，即可让 AI 消除麦克风和输入音频中多余的背景噪声。
- 虚拟背景：通过背景去除、替换和模糊处理等功能，用户无需使用价格不菲的设备或复杂的照明布置即可自定义背景。
- 目光接触：AI 可让主播看起来像是在直视摄像头，即使他们正在看向别处或记笔记。
- 自动聚焦：实时动态追踪对象的移动，无论移动对象位于何处，均可自动裁剪和缩放画面，以跟拍对象。
- 虚光效果：AI 可对摄像头图像的角落应用暗化效果，以提供鲜明的视觉对比，从而将观众的注意力吸引到视频中央，同时增添风格特色。
- 视频降噪：消除弱光环境下的视频噪点，使画面更清晰。
NVIDIA Broadcast 的工作原理是在 Windows 中创建虚拟摄像头、麦克风或扬声器，这样用户只需设置一次设备即可在任何直播、视频会议或语音聊天应用 (包括 Microsoft Teams、OBS Studio、Slack、腾讯会议、钉钉等) 中使用这些设备。
NVIDIA GeForce RTX、TITAN RTX、NVIDIA RTX 或 Quadro RTX GPU 用户可使用其 GPU 专用的 Tensor Core 协助 NVIDIA Broadcast 的 AI 网络实时运行。
NVIDIA Broadcast 技术中的所有 AI 赋能技术也能以软件开发套件的形式提供给应用开发者。视听技术公司 Elgato 在其 Wave Link 软件中添加了 Maxine 的 AI 音频噪声移除技术，而 VTube Studio (一款热门应用，用于将 3D 模型连接到网络摄像头，以便使用动画角色进行直播) 则提供了可以免费下载的经 RTX 加速的模型追踪器插件。独立开发者 Xaymar 在其 VoiceFX 插件中使用了 NVIDIA Maxine。
在使用 Adobe Premiere Pro 等视频编辑套件或 Ableton Live 及 Adobe Audition 等数字音频工作站进行后期处理时，内容创作者可以使用 VoiceFX 插件或 Elgato 的虚拟工作室技术 (VST) 过滤器消除录制内容中的噪声和回声。
耳听 (未必) 为实
自 NVIDIA Broadcast 发布以来，已有数百万人使用了这款应用。
Twitch 知名主播 Mr_Vudoo 表示：“我最常使用的是视频降噪和背景替换功能。目光接触功能非常有趣，老实说，这项功能的效果让我感到惊喜。”
YouTube 频道 PiXimperfect 的主持人 Unmesh Dinda 在极端情境下演示了 NVIDIA Broadcast 的噪声消除和回声移除 AI 功能。他将一台呼呼作响的电风扇正对麦克风，还戴上头盔并让人持续敲击头盔。即便背景中充斥着很大的噪声，在打开 NVIDIA Broadcast 应用的噪音消除功能后，Dinda 的声音依然清晰可闻。这段视频的观看次数已超过 1200 万次。
对于日益增多的远程工作人员来说，NVIDIA Broadcast 应用也是一款实用的工具。Tom’s Hardware 网站的总编 Avram Piltch 在一篇文章中详细介绍了他对这款应用的降噪功能的测试，测试对象包括呼呼作响的空调、修剪草坪的邻居，乃至一个发脾气挥舞着机器人的孩子。NVIDIA Broadcast 的 AI 音频效果每次都能大显神通：
Piltch 表示：“我让我八岁的孩子在我身后假装发脾气，当我启用噪声移除功能后，每一声‘我不去睡觉’的抱怨都消失了（至少在录制内容中是这样）。为了增加挑战性，我们让他一边发脾气，一边拿着一辆嗡嗡作响的机器人汽车走来走去。这一次，NVIDIA Broadcast 依然移除了所有多余的声音。”
NVIDIA Broadcast 的 AI 赋能背景去除功能也可以在日常情境中发挥作用，例如与医疗专业人员进行视频通话。
欢迎在任何搭载 RTX 的台式电脑或笔记本电脑上免费下载 NVIDIA Broadcast。
请订阅《解码 AI》时事通讯，我们每周都会将新鲜资讯直接投递到您的收件箱。