NVIDIA Maxine 开发者平台将推动价值百亿美元的视频会议行业实现变革

Maxine 助力开发者轻松集成 AI 功能,创建个性化和引人入胜的互动视频会议体验。
作者 Trisha Tripathi

视频会议使许多人得以随时随地高效开展工作。

在这个价值百亿美元的行业中,NVIDIA 正在提高视频会议、呼叫中心和流媒体应用程序开发人员的生产力,使他们能够轻松地将 AI 集成到其工作流中。

新发布的 Maxine AI 开发者平台通过各种功能来提高用户的灵活性、参与度和效率,改变了先进的实时视频会议应用的创建方式。

通过 NVIDIA AI Enterprise 软件平台,Maxine 允许开发者利用 AI 驱动的最新功能(例如提高视频和音频质量和增强现实效果),使用户能够通过日常视频通话获得互动协作体验。

利用 Maxine 的新功能扩展视频会议

Maxine AI 开发者平台使开发者能够轻松访问和集成实时的 AI 增强功能,从而提高视频会议用户的参与体验。

降噪、视频去噪和升级以及演播室语音等功能提高了音频和视频流的质量。而利用眼动校正、实时肖像等高级功能,以及视频重照明和云微服务 Maxine 3D 等未来功能,开发者可以提升视频会议参与度并拉近人际关系。

该平台增强了先进的 AI 模型在音频、视频和增强现实效果方面的实用性,为开发者提供了多种交付 Maxine 功能的方式,包括提供软件开发者套件、微服务,乃至 NVIDIA 云基础设施上的应用编程接口(API)端点。

Maxine 产品功能现已更新,其中包括:

  • 目光接触:改进后的目光接触模型通过自然的眼球运动提供视线重定向,提升与会者的参与感。
  • 语音字体:这种新模型会将说话者的声音与目标声音匹配,同时保持语言信息和韵律(节奏和语气)不变。
  • 背景去噪(BNR)2.0:该模型改进了人类听力和语言编码的降噪功能,特别是降低了编码误字率。

在今年春季可抢先体验的新功能包括:

  • 语音实时肖像该模型让用户能够通过直接语音或任何音源来驱动自己的肖像,让自己在电话会议期间始终处于良好状态。
  • 演播室语音:该模式可为普通耳机、笔记本电脑和台式电脑麦克风提供高端演播室麦克风的声音,使用户在电话会议期间始终保持优良的音质。

为了从开发者处获取有关 Maxine 模型实用性和完善性的反馈,Maxine 早期访问计划会共享包含即将面世的功能的预生产和预发布版本。在此版本中,我们请开发者就开发工作流中的早期功能提供反馈,包括:

  • Maxine 3D:该云微服务曾在 SIGGRAPH 2023 上作为研究演示进行过展示,通过实时 NeRF 技术将 2D 视频转换为 3D 视频,让视频会议的交互提升到了一个新高度。
  • 视频重照明:这一新模式使用高动态范围图像为用户照明,实现了用户照明与各种背景图像的无缝匹配。
  • API 端点:借助 API 端点,开发者可以通过 NVIDIA 云基础设施灵活地访问 Maxine 功能,使 Maxine 集成变得更加容易。

Jugo 和阿森纳足球俱乐部共创辉煌

体育赛事是人类的终极体验,它超越国界和语言障碍,将球队和球迷凝聚在一起。Jugo 使用 Maxine 的 AI 绿幕功能,为虚拟赛事提供了一个数字平台,使公司能够使用虚幻引擎创建身临其境的体验,无需使用完整的制作工作室就能将世界各地的球迷共聚一堂。

英超劲旅阿森纳足球俱乐部正在与 Jugo 合作,彻底改变其与全球 6 亿球迷的互动方式。双方的合作打造了新的虚拟体育娱乐体验,提高了全球球迷的参与度。Jugo 将真实的人际互动带到阿森纳的赛事中,在球迷和俱乐部的超级球星之间搭建了逼真的虚拟联系。

Jugo Experience 首席执行官 Richard Stirk 表示:“对于追求全球知名度和参与度的品牌,Jugo Experience 平台为市场带来了变革。阿森纳足球俱乐部是全球品牌延伸的典范。Jugo 产品的灵魂在于打造沉浸式品牌体验的灵活性,而 Maxine AI 开发者平台正是这种灵活性的基本组成部分。”

树立 AI 增强型视频会议新标准

GemeloPexipSpectacleVideoRequest 是率先利用早期访问计划新功能的用户,他们凭借商用摄像机和麦克风就打造了专业的视听工作室。

Gemelo 首席执行官 Paul Jaski 表示:“Gemelo 多年来一直参与 Maxine 模型预发布版本的测试,我们非常珍惜这个机会,也很荣幸能够在 Maxine 功能开发过程中提供早期意见。语音实时肖像这一新功能将为我们的客户在创建定制视频消息方面提供更大的灵活性,开启个性化新时代的大门。”

Pexip 首席技术官 Ian Mortimer 表示:“Pexip 很高兴有机会测试 Maxine 功能的开发版本,并为最终产品模型的开发提供建议。在测试最新版本的 Maxine BNR 时,我们发现可理解性和语音质量都有了显著提升,我们计划继续完善测试参数,以帮助优化 AI 翻译工作流的准确性。”

Spectacle 总裁 Benjamin Portman 表示:“NVIDIA Maxine Eye Contact API 大大简化了我们为 Spectacle 应用用户提供卓越视频处理功能的过程,为我们免除了基础设施和资源密集型集成方面的后顾之忧。有了它,我们能够在短短几天内创建概念验证,进而加快生产应用的部署速度。”

VideoRequest 首席技术官 Joe Tyler 表示:“对 Maxine 演播室语音功能的早期测试让我们看到了 AI 增强型产品和视频推荐的可能性,这令人印象深刻。新的 Maxine BNR 和目光接触功能将帮助我们的客户克服具有挑战性的录制环境,从而进一步提高视频质量。”

可用性

了解有关 NVIDIA Maxine 的更多信息,NVIDIA Maxine 现可通过 NVIDIA AI Enterprise 获取。

请参见有关软件产品信息的需知