NVIDIA Omniverse 加速七维科技 ViStoryboard 人工智能故事板软件的落地应用

作者 英伟达中国

生成式 AI 技术的崛起为内容生产方式带来了一场翻天覆地的变革,其通过学习人类思维方式,能够快速完成海量素材挖掘,并以低成本、高效率的生产方式满足差异化需求,为内容创作领域注入新的活力。

七维科技作为深耕内容创作工具领域多年的技术研发型企业,拥有领先的三维实时渲染引擎技术,在 AI、XR、3D 等领域积累了丰富的研发落地经验。为了满足影视、动画等领域的深度需求,七维科技结合生成式 AI 技术,推出创作类工具—— ViStoryboard 人工智能故事板软件,并将其引入 NVIDIA Omniverse 平台,借助 NVIDIA Omniverse 在协作、生态及 NVIDIA 技术支持等方面的优势,为 ViStoryboard 快速落地应用提供助力。

科技与艺术的无缝对接,打通内容创作“高效环”

故事板作为与拍摄现场工作密切相关的视觉预览工具,能够让导演、摄影、演员等拍摄人员在镜头开拍前,对镜头建立统一的视觉概念,并轻松有效的快速建立创作思路。但优秀的故事板画师不仅需要强大的手绘能力、叙事能力,还需要对镜头语言、画面设计、导演理论有着深刻的理解。对于很多制作周期短、预算低的作品来说,如何找到低成本、高效率、专业品质的故事板创作工具成为了亟需解决的问题。

ViStoryboard 人工智能故事板,是基于 Stable Diffusion 算法模块所研发的 AI 创作工具。它无需使用者具备绘画基础,只需通过文字描述,即可快速的批量化生成故事板。

NVIDIA 技术加速故事板工具的开发和实现

凭借强大的 NVIDIA RTX GPU、NVIDIA CUDA、cuDNN(NVIDIA CUDA 深度神经网络库)以及众多 NVIDIA 推出的 SDK,ViStoryboard 后端实现了 Stable Diffusion 模型训练和推理流程的全面加速。同时,通过引入 TensorRT 进行模型优化,进一步提升了推理效率,极大加强了 ViStoryboard 的模型训练和图片生成速度。

同时,七维科技基于 NVIDIA Omniverse Kit 开发了用于 ViStoryboard 的 Omniverse 扩展程序,充分利用 Omniverse 强大的渲染能力和基于 OpenUSD 的工作流,将所生成的故事板融入 USD 场景中,在三维视图中实时回放故事板图片序列,使用户可以在一个统一的平台上进行内容编排、创作、渲染和交互。

Omniverse 模块化设计赋能内容生产

NVIDIA Omniverse 是一个开发平台, 可用于构建基于通用场景描述 (OpenUSD) 的 3D 工作流和元宇宙应用程序。在 Omniverse 的模块化设计和协作功能的助力下,七维科技 ViStoryboard 快速落地,为创作者带来快速、高效的创作体验。

这为内容产业带来了全新的内容生产方式,用户可使用 Omniverse 赋能的 ViStoryboard 迅速生成高质量的故事板,满足多元化的应用需求,以实现技术与艺术的良性循环,为更多的优质内容创作提供生长土壤。

Omniverse 助力 ViStoryboard 加速落地场景构建

ViStoryboard 即将作为 NVIDIA Omniverse Extension推出,为 Omniverse 生态合作伙伴提供前期脚本可视化工具。通过 Omniverse 平台,导演助理、剪辑师、摄影师等多工种人员能够方便快捷地使用 ViStoryboard,进行批量化、多风格的故事板生成,同时支持生成兼容时间线序列的工程文件,便于后期人员进行编辑。为游戏、影视、动画、传媒等多领域提供了强有力的支持。

2023年,七维科技加入了 NVIDIA 初创加速计划,受邀参与 2023 年 NVIDIA 初创企业展示活动,并最终入驻 NVIDIA“2023 最终展示殿堂”。作为数字内容引擎工具提供商,七维科技致力于成为以 AI 驱动的 XR 技术全球引领者,不断探索更多技术边界。未来,七维科技还将继续在 NVIDIA 的助力下,为多领域内容创作者带来更多便捷、高效、低成本的内容生产解决方案。

NVIDIA 初创加速计划

七维科技是 NVIDIA 初创加速计划 (NVIDIA Inception) 会员企业。NVIDIA 初创加速计划为免费会员制、旨在培养颠覆行业格局的优秀创业公司。该计划联合国内外知名的风投机构,创业孵化器,创业加速器,行业合作伙伴以及科技创业媒体等,打造创业加速生态系统。能够提供产品折扣,技术支持,市场宣传,融资对接,业务推荐等一系列服务,加速创业公司的发展。

了解更多