NVIDIA 研究人员在当地时间本周二 SIGGRAPH 的 Real-Time Live 活动中，现场演示了如何使用 NVIDIA Edify （一种适用于视觉生成式 AI 的多模态架构）在几分钟内即可创建出一个细节考究的 3D 沙漠景观。
作为本届 SIGGRAPH 图形大会备受瞩目的会议之一，NVIDIA 研究人员展示了他们在 AI 智能体的支持下，仅用五分钟不到的时间，就能够从头开始创建和编辑出沙漠景观。现场 demo 充分展现了生成式 AI 如何通过加快构思速度和生成原本需要从资源库中获取的自定义辅助资产，以成为艺术家的得力助手。
通过大幅缩短构思时间，这些 AI 技术将提高 3D 艺术家的生产力和创造力，为他们提供更快探索概念和加快部分工作流所需的工具。例如，他们可以在几分钟内生成场景所需的背景资产或 360 HDRi 环境，再也不需要在寻找或创建它们这件事上花费数小时了。
将创意变成 3D 场景只需三分钟
创建一个完整的 3D 场景是一项复杂且耗时的任务。为了创建出一个丰富的场景，艺术家必须使用大量背景物体衬托他们的主要素材，然后还要找到合适的背景和环境贴图来模拟光照效果。由于时间有限，他们往往不得不在快速产出结果和探索各种创意之间做出权衡。
在 AI 智能体的支持下，创意团队就能“两者兼得”——既能快速将概念转化为现实，又能通过不断迭代获得合适的外观。
在这场 Real-Time Live 活动的 demo 演示中，研究人员使用文本提示指导 NVIDIA Edify 驱动的模型，来生成数十种 3D 资源，包括仙人掌、岩石、公牛头骨等，而且只需要几秒钟就能生成预览。
接下来，他们还指示智能体利用其他模型创建可能需要使用的背景和物体如何放置在场景中的布局，并且通过快速将岩石转换成金块展示了智能体如何适应创意指示最后一刻的变化。
在有了设计方案之后，他们利用智能体创建全质量资源，并在 NVIDIA Omniverse USD Composer（一个用于创建虚拟世界的应用程序）中将场景渲染成逼真的图像。
NVIDIA Edify 加速环境生成
NVIDIA Edify 模型可以在帮助创作者专注于主要素材的同时，使用 AI 驱动的场景生成工具加速背景环境和物体的创建。该 Real-Time Live 活动的 demo 演示了两个 Edify 模型：
- Edify 3D 可根据文本或图像提示生成可直接编辑的 3D 网格。该模型只需要几秒钟就能生成预览，包括各个物体的旋转动画。这将帮助创作者在确定具体设计之前快速创建出原型。
- Edify 360 HDRi 可根据文本或图像提示生成最高分辨率为16K 的自然景观高动态范围图像（HDRi），这些图像可以用作背景和为场景模拟光照效果。
在 demo 过程中，研究人员还展示了一个由大语言模型驱动的 AI 智能体，以及一个使用 3D 工作流平台 OpenUSD 生成场景布局的 AI 模型 USD Layout。
NVIDIA 还在 SIGGRAPH 上宣布，两家领先的创意内容公司正在为设计师和艺术家提供一种通过生成式 AI 大幅提升生产力的新方法——使用 NVIDIA Edify 驱动的工具。
Shutterstock 推出了其 3D 生成服务的商业测试版。通过该服务，创作者可根据文本或图像提示快速创建原型并生成 3D 资产。该公司基于 Edify 的 360 HDRi 生成器也已进入早期体验阶段。
Getty Images 使用最新版本的 NVIDIA Edify 更新了其 Generative AI by Getty Images 服务，不但使用户创建图像的速度加快了一倍，而且还提高了输出质量和提示依从性，并支持高级控制和微调。
在 NVIDIA Omniverse 中充分利用通用场景描述
使用 Edify 模型生成的 3D 物体、环境贴图和布局均采用 USD 这一用于描述和组成 3D 世界的标准格式。凭借这一兼容性，艺术家能够直接将 Edify 驱动的创作导入 Omniverse USD Composer。
在 Composer 中，他们可以使用流行的数字内容创建工具进一步修改场景，例如改变物体的位置、修改物体的外观、调整光照效果模拟等。
观看下方本届 SIGGRAPH 的 Real-Time Live 视频，了解更多包括生成式 AI、虚拟现实和现场表演捕捉技术在内的十几种实时应用。