视觉生成式AI领域的多模态架构NVIDIA Edify,正迈入全新的发展维度。本次升级覆盖了从3D资产生成到图像精细控制的多重维度,为开发者和视觉内容提供商带来更高的创意自由度与更贴近实际应用的工具链。

Edify此次推出了多项新功能,其中最为引人关注的是3D资产生成——开发者和视觉内容提供商可通过AI图像生成技术,释放出以往难以想象的创意潜力。
基于Edify架构,Shutterstock打造的应用编程接口(API)即将开放抢先体验。创作者仅需输入一段文本描述或一张参考图像,即可快速生成可用于虚拟场景的3D物体。
Getty Images作为视觉内容创作与交易平台,其生成式AI服务始终强调商业安全性。本次新增了定制微调功能——企业客户可根据自身品牌准则与风格调整模型,生成更贴合具体需求的视觉效果。同时,还加入了一些新功能,让客户对图像输出拥有更高的掌控力。
NVIDIA NIM——一组用于推理的微服务,早在GTC 2024上就已亮相。目前,开发者可通过NIM,以API形式直接试用Getty Images和Shutterstock提供的预训练Edify模型。更进一步,借助NVIDIA Picasso(基于DGX云构建的AI代工服务),开发者还能基于Edify架构训练并部署自己的生成式AI模型。
NVIDIA与Adobe正在联手推进——他们将为数百万Firefly和Creative Cloud用户带来基于Edify的全新3D生成式AI技术。
直播平台Be.Live已在利用Picasso代工服务提供实时生成式AI,自动创建视觉效果,为观众带来沉浸式互动体验。Bria,一家专注于负责任视觉生成式AI的平台,也采用了Picasso来运行推理。Cuebric创意工作室正在开发基于Picasso的生成式AI应用,用于打造沉浸式虚拟环境,服务电影与内容创作领域。
加速3D创作流程:Shutterstock 3D AI生成器现已开放抢先体验
Shutterstock的3D AI服务现已开放抢先体验,旨在帮助创作者快速生成用于布景和构思的虚拟物体,大幅加速场景原型设计,让艺术家能够将更多精力集中在主要角色和核心物体的精雕细琢上。
运行中的 Shutterstock 3D 生成器(视频来源:Shutterstock)
借助这些工具,创意人员可通过文本提示或参考图像快速创建资产,并导出为多种主流3D格式。Edify 3D服务内置了保护措施,可有效过滤不当内容。
这款模型在商业领域安全可用,训练数据来源于Shutterstock的授权内容。Shutterstock对艺术家的知识产权非常重视,已向数十万名艺术家支付了报酬,预计未来还将有数百万名艺术家从中受益。
在GTC大会上,惠普和Shutterstock宣布合作,利用Edify 3D为设计师提供丰富的原型设计选项,从而提升定制化3D打印体验。具体而言,Shutterstock的3D AI生成器使设计师能够快速迭代概念、创建数字资产;惠普则将这些数字资产通过自动化工作流转换为可供3D打印的模型,最终由惠普3D打印机打印成实体原型,用于激发产品设计灵感。
Mattel同样在利用Shutterstock的3D生成式AI加速设计构思。玩具设计师只需通过简单的文字描述,即可将新产品的想法可视化。技术门槛的降低,使设计师能够探索更多创意可能,并大幅提升迭代速度。
此外,Shutterstock还在开发基于Edify的工具,能够通过文本或图像提示生成360 HDRi环境,为3D场景提供照明。达索系统(Dassault Systèmes)正通过3DEXCITE应用程序进行3D内容创作,并将Shutterstock的生成式360 HDRi API整合到其基于NVIDIA Omniverse(用于开发基于OpenUSD的3D工作流和应用的计算平台)的工作流中。CGI工作室Katana也在同步推进类似的整合工作。
Accenture Song(全球最大的技术赋能创意集团)目前正在Omniverse平台中使用CAD数据生成Defender车型的高保真图像,用于营销推广。借助Edify支持的生成式AI微服务,他们通过对话式提示构建了电影级的交互式3D环境,将逼真环境与Defender车型的数字孪生完美融合,打造出完全沉浸式的体验。
掌控全局:借助Getty Images定制微调功能,将视觉创意转化为现实
Getty Images正持续丰富其商业安全的生成式AI服务功能,同时确保使用该服务的用户得到适当的知识产权报酬。早在1月的CES展会上,Getty Images就发布了由Edify支持的图像修复API,可用于添加、删除或替换图像中的物体,还能通过扩图功能拓展创意空间。目前,这些功能已在Gettyimages.com和iStock.com上正式上线。
从今年5月开始,Getty Images将正式推出定制微调服务,让企业能够根据自身的品牌与视觉风格来调整Edify基础模型。这项服务完全自助,无需编写代码。公司可上传专有数据集,自动生成标签,提交微调任务,并在获得结果后直接部署到生产环境。
对图像输出进行更精细的控制,始终是生成式AI面临的一大挑战。Getty Images为此准备了一套API,作为定制微调工具的一部分,帮助用户更精准地掌控图像输出。很快,开发者就能使用“草图”、“深度”和“分割”功能。“草图”允许用户提供草图来指导AI生成;“深度”通过深度图复制参考图像的构图;“分割”则能分割图像部分,便于添加、删除或改进角色或物体。
截至目前,已有众多领先的创意公司和广告商在使用Getty Images的API服务,例如:
电通 (Dentsu Inc.):日本广告公司电通目前正在使用Getty Images的生成式AI API为MAFA应用提供支持,该应用能为营销案例创建漫画和动画风格内容。同时,电通创意(Dentsu Creative)也在利用NVIDIA Picasso为山姆会员商店微调Getty Images模型。
麦肯 (McCann):这家创意公司借助生成式AI为客户利洁时的感冒药Mucinex开发了一款创新互动游戏,让玩家能够与品牌吉祥物进行互动。
Refik Anadol Studio:这家以生成式AI艺术创作闻名的工作室,在GTC大会上展出了受热带雨林启发的作品。这件装置正是利用Getty Images的AI模型,结合Refik的热带雨林数据集微调而成。
WPP:这家营销与传播服务公司目前正与可口可乐公司合作,探索如何通过微调Getty Images模型,构建符合品牌风格与准则的自定义视觉效果。
