电影专家:AI 如何通过视频数据帮助预测观众行为

by 英伟达中国

whatismymovie.com 中输入“teenage angst”(焦虑青春),搜索引擎随即会推荐诸如《希德姊妹帮》《无因的反叛》《边缘日记》之类的影片。

将搜索词更改为“elephants”(大象),结果中将包含从《小飞象》《象人》《上天下地大追击》(片中主要讲述运输大象)等影片。

作为一项技术演示,whatismymovie.com 不是普通的电影搜索引擎。该搜索引擎由融合 AI 的算法提供支持,这一算法通过将自然语言理解与文本和模式识别相结合,来理解视频文件内容。这使得通过新方式匹配问题和结果以及显示之前无法搜索的数据成为可能。

用来支持站点的技术是芬兰奥卢大学旗下的 AI 视频初创公司 Valossa 的杰作,该公司还是 NVIDIA 创始计划的成员。尽管这家公司的宏伟志向远远超过帮助人们查找电影,但是首席执行官兼联合创始人 Mika Rautiainen 却从 whatismymovie.com 对于那些电影查找者的影响中得到了乐趣。

Rautiainen 说:“人们正通过描述来查找那些记不起名字的久未看过的电影。”

除了帮助粉丝找到电影以外,Valossa 还致力于应用自身技术来帮助媒体公司更好地了解其媒体资产,并且最终了解观众会如何因所观看的内容而受到影响。例如,当某位演员出现在屏幕上时,观众的情绪会如何变化。

最后,这可以在观众注意力下降时促使内容迅速进行调整,使得在线投放的广告更加有趣和有效,并取得更高的内容收益。

Rautiainen 说:“广播公司和其他视频内容公司可以从每一秒播放的内容中提取数据并将其与行为关联起来。他们正在寻找每一个信息片段,帮助他们借助内容来产生更大的影响。”

电影搜索只是冰山一角

在参加马里兰大学的研究交流项目期间,Rautiainen 最初开始研究的是“语义视频理解”。在这里,他研究了用于检测视频内容中物体和活动(例如爆炸)的算法,并致力于打造以标准化视频搜索问题为基准的搜索引擎。2010 年,他和他的研究团队开始同芬兰国家广播公司 Yle 合作,将广播视频编入索引并使其可搜寻。

当新一代机器学习和 AI 首次在科学界崭露头角的时候,Rautiainen 便开始研究如何将自己的工作与新型 AI 技术结合起来,并且开始组建现在的 Valossa 团队。他选择将公司设立在前诺基亚小镇奥卢,因为那里有大量技术高超的视频工程师和计算机视觉研究人员。

Valossa 的首款产品 Valossa AI 是一种由运行在 Amazon Web Services 云中的 GPU 集群加速的云服务。借助该产品,媒体公司能够了解多种情况,比如视频中最出色的演员、他们在屏幕上出现的时间和地点,以及视觉环境(例如树叶或城市建筑的出现)。

此外,该产品还可以分析说话内容和背景声音并将其编入索引。他们最近发布了视频洞察工具,可用于通过直观报告、场景级搜索和概况控制面板检查视频内容。将这些见解与用户的行为数据相结合可为内容决策提供信息依据。

在内部,该公司正在本地和云中使用 NVIDIA GPU 来加速训练其深度学习算法。与 CPU 相比,性能至少提升 30 倍。

加快速度

这种显著提速使得 Valossa AI 引擎能在短短 10 分钟内为其在 60 分钟的视频中看到的所有内容建立索引和添加注释。而如果使用 CPU,可能要花费两个多小时才能完成任务,并且所需成本更高。任何人都可以访问 Valossa 网站并注册,免费利用该公司融合有深度学习技术的集群运行视频,查看技术的实际运用情况。

各公司可以根据所消费内容的分钟和小时数的处理时间支付服务费用,或者具有持续不断的海量视频需求的客户也可采用订阅模式。登录门户的人可以通过预览方式了解互动式视频洞察工具。此外,Valossa 还提供本地安装软件供企业使用。

Rautiainen 预计,由于越来越多的企业想要通过视频智能获取价值,因此未来 Valossa 技术吸引的客户将会远远超过媒体公司这一类。他们将能够了解演示会如何影响观众,并做出实时调整。

Rautiainen 说:“我们正在帮助人们了解他们的内容数据是如何构建的,以及发现这些结构和实际影响之间的关系。”

我们的创始计划中有 2,200 多家初创公司,Valossa 也是其中一员。虚拟加速器计划为初创公司提供技术、专业知识和营销支持。