苹果公司近期低调公布了一项名为“LiTo”的AI研究突破,该模型的核心能力令人瞩目:只需输入一张普通二维照片,即可生成具有真实光照效果的三维物体。不同于常见的平面贴图,LiTo能够精确还原反射、高光等细节,并且光影会随视角变化而自然变化。这一技术若成功落地,将对3D内容创作、虚拟现实(VR)和增强现实(AR)等领域产生深远影响。

要理解LiTo的工作原理,需要先了解其核心技术。传统3D重建通常需要多角度图片或深度传感器的专门数据,门槛较高。而LiTo则采用了截然不同的方法——它创建了一种“3D潜在空间表示”,将物体的几何形状与不同光照条件下的表现融合为一个统一的数学表达。模型通过分析RGB-D图像(即包含深度信息的彩色图像)中采样的表面光场数据,将其压缩为紧凑的潜在向量,并在同一三维隐空间中同时编码几何与材质属性。这意味着,即使仅凭单张输入图像,LiTo也能精准还原镜面高光、菲涅尔效应等物理级别的光照细节,并且无论视角如何变化,光影效果始终保持连贯。

架构上采用经典的编码器-解码器结构。编码器将输入图像转换为包含几何与光交互信息的潜在编码,解码器则基于该编码重建完整的三维网格,并实时合成不同视角下符合物理规律的光照渲染。训练数据集经过精心设计:包含150个视角、3种典型光照环境以及数千个不同物体,全部由合成数据生成。此外,团队引入随机子采样策略以增强模型的泛化能力,最终目标是实现单张图片输入即可稳定推断出完整的三维潜在表示。
实测结果同样令人信服。在镜面反射、半透明材质等高难度光照建模任务中,LiTo的表现显著优于当前主流方法TRELLIS。苹果官方项目页面提供了交互式对比演示,清晰展示了两者差距:当旋转重建的3D模型时,LiTo生成的高光位置随视角自然迁移,反射强度衰减严格遵循真实光学规律;而对比模型则出现高光漂移、反射断裂等问题,完全不符合物理直觉。这一成果不仅是技术上的领先,更从原理上解决了单图3D重建中长期存在的技术瓶颈。
