爵士乐的核心魅力，在于即兴演奏中迸发的创意火花——而NVIDIA正借助AI技术，为这种创作自由探索全新的表达方式。想象未来，图形创作者或许能像爵士乐手一样，随手“即兴”调出3D物体，并快速修改、组合，甚至现场表演。这项名为“NVIDIA 3D MoMa”的方法，正是为此而生。

对于建筑师、设计师、概念艺术家以及游戏与开发者而言，其核心价值体现在：无需从零开始构建模型，而是能迅速将现实中的物体导入图形引擎，随后自由调整比例、更换材质，或尝试不同的打光效果。这一切，都源于一篇即将在CVPR上亮相的论文。

基于2D图像创建3D物体

逆渲染技术，简而言之就是让计算机从一组静态照片中反向推导出物体的3D模型与场景。NVIDIA图形学研究副总裁Da vid Luebke直言，“这项技术长期以来一直是统一计算机视觉和计算机图形学的关键”。值得一提的是，NVIDIA 3D MoMa将逆渲染的每个环节都转化为GPU加速的可微分组件，再借助现代AI与NVIDIA GPU的算力，便可快速生成3D物体——而且这些物体能直接导入现有创作工具进行编辑与扩展。

为了让艺术家和工程师真正投入实际应用，3D物体必须采用通用语言进行表达。这种通用语言指的就是带有纹理和材质的三角网格——这是游戏引擎、3D建模器以及电影渲染器都能识别并处理的格式。

三角网格是用于定义3D图形和建模形状的基本框架

以往，游戏工作室及其他创作者若要获取可编辑的3D物体，通常需要依赖复杂的摄影测量技术，耗时且费力。近年来，神经辐射场（NeRF）的研究虽能快速生成3D模型，但其输出形式通常并非三角网格——因此无法直接进行编辑。而NVIDIA 3D MoMa则不同：在单个NVIDIA Tensor Core GPU上运行一小时后，即可输出可直接在现有3D工具中使用的三角网格模型。

这套流程的重建功能涵盖三个关键要素：网格、材质与照明。网格如同由三角形拼接而成的框架，创作者可随意调整形状；材质则是覆盖在网格上的2D纹理，类似于人体的皮肤；照明信息则通过对场景光线的估算获得，这样后期调整灯光效果时，物体的反应会更为自然。

为虚拟爵士乐队调校乐器

为展示3D MoMa的实际效能，NVIDIA研究团队与创意团队开展了一项有趣的实验。他们从多个角度采集了五种爵士乐队乐器——小号、长号、萨克斯、架子鼓和单簧管——各约100张图片。随后，利用3D MoMa将这些2D图像重建为每种乐器的3D表现形式，并以三角网格格式输出。

接着，团队将乐器从原始场景中提取出来，导入NVIDIA Omniverse 3D模拟平台进行编辑。在任意传统图形引擎中，创作者都能轻松为这些网格“更换外衣”——例如，为小号模型更换材质，从原本的塑料改为黄金、大理石、木材甚至软木，效果如同给网格穿上不同的外衣。

更为精妙的是，编辑好的物体可放入任意虚拟场景。团队将这些乐器置入经典的图形渲染质量测试场景——康奈尔盒。结果表明，虚拟乐器对光线的响应与现实世界完全一致：闪亮的铜管反射出明亮光斑，而哑光的鼓皮则自然地吸收光线。这些通过逆渲染生成的新物体，可完全作为复杂动画场景的组成元素——视频结尾的虚拟爵士乐队正是这样组合而成。

关于NVIDIA 3D MoMa的论文已于北京时间6月23日凌晨2:30在CVPR分会场正式发表。这也是NVIDIA作者在本次会议上发表的38篇论文中的一篇。