用于视觉生成式 AI 的多模态架构 NVIDIA Edify 正在迈入全新维度。
Edify 为开发者和视觉内容提供商推出了多种全新功能（例如 3D 资产生成功能），通过 AI 图像生成助力实现更高的创意自由度。
多媒体内容和数据提供商 Shutterstock 基于 Edify 架构打造的应用编程接口（API）将开放抢先体验。通过该 API，创作者可使用提示文本或图像来快速生成用于虚拟场景的 3D 物体。
Getty Images 是一家视觉内容创作公司，同时也是一个视觉内容交易市场，其生成式 AI 服务可在商业领域安全使用。该服务将新增定制微调功能，帮助企业客户生成符合其品牌准则与风格的视觉效果。该服务还将增设其他新功能，帮助客户进一步把控生成图像的结果。
NVIDIA NIM 是一组用于推理的微服务，于NVIDIA GTC 2024 大会上推出。开发者可通过 NVIDIA NIM 以 API 的形式试用由 Getty Images 和 Shutterstock 提供的预训练 Edify 模型。此外，通过 NVIDIA Picasso（基于 NVIDIA DGX 云构建的 AI 代工服务），开发者还可使用 Edify 架构训练和部署自己的生成式 AI 模型。
NVIDIA 与 Adobe 正在协作为数百万 Firefly 和 Creative Cloud 的创作者带来基于 Edify 构建的全新 3D 生成式 AI 技术。
直播平台 Be.Live 正在使用 NVIDIA Picasso 代工服务来提供实时生成式 AI，以便自动创建各种视觉效果，为观众提供别样的互动体验。Bria 是一个功能齐全的平台，专为开发负责任的视觉生成式 AI 企业量身打造，该平台现已采用 Picasso 来运行推理。Cuebric 创意工作室正在开发由 Picasso 提供支持的生成式 AI 应用，以便打造沉浸式虚拟环境，助力电影制作和内容创作。
加速 3D 创作：Shutterstock 3D AI 生成器现已开放抢先体验
Shutterstock 的 3D AI 服务现已开放抢先体验，该服务可以帮助创作者生成用于布景和构思的各种虚拟物体。这种功能可以使场景原型设计大幅加速，从而让艺术家有更多的时间来专注于主要角色和物体的创作。
借助这些工具，创意专业人员可利用文本提示或参考图像快速创建资产，并能以各种热门 3D 格式导出资产文件。Edify 3D 服务还带有内置保护措施，可以过滤生成的内容。
这款可在商业领域安全使用的模型是基于 Shutterstock 的授权数据训练的。考虑到艺术家的内容知识产权在训练生成技术方面所起到的重要作用，Shutterstock 已向数十万名艺术家支付了相应报酬，未来预计还会有数百万名艺术家获得报酬。
使用 Shutterstock 3D AI 生成器创建的资产在渲染后将以平铺式构图呈现。（图源：Shutterstock）
惠普和 Shutterstock 在 GTC 大会上宣布将协作利用 Edify 3D 来为设计师提供大量原型设计选项，进而提升定制化 3D 打印体验。
Shutterstock 的 3D AI 生成器可帮助设计师快速迭代概念并创建各种数字资产，而惠普则能将创建的数字资产通过自动化工作流转换成可供 3D 打印的模型。随后，惠普 3D 打印机便可将这些模型打印出来，制成实体原型，帮助设计师激发产品设计灵感。
Mattel 正在利用 Shutterstock 提供的 3D 生成式 AI 加快设计构思过程。借助 AI，玩具设计师可以通过简单的文字描述将他们对新产品的想法可视化。通过降低创建高保真概念设计的技术门槛，设计师们可以探索更广泛的创意库，并加快迭代速度。
此外，Shutterstock 还在开发各种基于 Edify 的工具，以便通过文本或图像提示生成 360 HDRi 环境，为 3D 场景提供照明。
达索系统（Dassault Systèmes）正在通过其先进的 3DEXCITE 应用程序进行 3D 内容创作，将 Shutterstock 的生成式 360 HDRi API 整合到其基于 NVIDIA Omniverse（用于开发基于 OpenUSD 的 3D 工作流和应用的计算平台）的工作流中，CGI 工作室 Katana 也在推进相同的整合工作。
全球最大的技术赋能创意集团 Accenture Song 正在 Omniverse 平台中使用计算机辅助设计（CAD）数据生成 Defender 车型的高保真图像并将其用于营销。借助由 Edify 提供支持的生成式 AI 微服务，Accenture Song 能够通过对话式提示构建电影级交互式 3D 环境，进而营造一个可提供完全沉浸式体验的 3D 场景，将所生成的逼真环境与 Defender 车型的数字孪生完美融合在一起。
把控全局：借助 Getty Images 的定制微调功能，将视觉创意转变为现实
Getty Images 将持续丰富其可在商业领域安全使用的生成式 AI 服务的功能，并为使用该服务生成内容的用户提供适当知识产权报酬。
在 1 月的 CES 展会上，Getty Images 发布了由 Edify 提供支持的图像修复 API，用于添加、删除或替换图像中的物体。该 API 还可通过扩图功能扩展创意空间。上述功能现已在 Gettyimages.com 和 iStock.com 上推出。
从 5 月开始，Getty Images 还将提供定制微调服务，以便公司根据其品牌和视觉风格对 Edify 基础模型进行调整。
通过该服务，各类公司均可上传专有数据集，查看自动生成的标签，提交微调任务，并在得到结果后再将其部署至生产，整个过程完全自助，且无需使用任何代码。
对图像输出进行更精细的控制一直是生成式 AI 面临的最大挑战之一。为此，Getty Images 还将推出一套 API，并将其作为定制微调工具的一部分提供，这些 API 可帮助用户更好地把控图像输出结果。
很快，开发者将能使用“草图（Sketch）”、“深度（Depth）”和“分割（Segmentation）”功能。“草图”功能可让用户提供草图以指导 AI 生成图像；“深度”功能可让用户通过深度图复制参考图像的构图；“分割”功能可让用户分割部分图像，以便添加、删除或改进角色或物体。
多家领先的创意公司和广告商均已在使用 Getty Images 的 API 服务，其中包含：
- 电通 (Dentsu Inc.)：日本广告公司电通正在使用 Getty Images 的生成式 AI API 服务为 MAFA: Manga Anime For All 应用提供支持，该应用可为营销案例创建漫画和动画风格的内容。此外，电通创意（Dentsu Creative）正在使用 NVIDIA Picasso 为领先的会员制仓储零售商山姆会员商店微调 Getty Images 模型。
- 麦肯 (McCann)：这家创意公司借助生成式 AI 为客户利洁时（Reckitt）的非处方感冒药 Mucinex 开发了一款具有创新性的游戏，让玩家享受到了与品牌吉祥物互动的乐趣。
- Refik Anadol Studio：这家工作室因使用生成式 AI 进行艺术创作而闻名，并且在 GTC 大会上展出了以热带雨林为灵感的艺术作品。该装置是利用 Getty Images 的AI模型与 Refik 的热带雨林目录进行微调后创作的。
- WPP：这家营销与传播服务公司正在与可口可乐公司合作，探索如何通过微调 Getty Images 的模型，以帮助构建符合品牌风格和准则的自定义视觉效果。
大型自然模型：Refik Anadol Studio 在 GTC 2024 大会上展出的作品 Living Archive
欢迎前往 ai.nvidia.com，详细了解 NVIDIA Picasso，并试用 Getty Images 和 Shutterstock 提供的由 Edify 提供支持的 NIM。
头图内左侧展示了由 Edify 提供支持的 Shutterstock 3D AI 生成器所创作的资产（图源：Shutterstock）。头图内右侧展示了可根据草图生成图像的 Edify 功能，此演示由 NVIDIA 提供。