在计算机视觉与图形学领域,人体被遮挡后能否完整渲染出全身形态,始终是一项极具挑战性的难题。实际场景中,人体常被桌椅、行人或杂物遮挡,传统方法通常只能渲染出可见部分,其余区域要么依赖“脑补”,要么直接留白。如今,斯坦福大学提出的OccFusion提供了一套令人惊艳的解决方案——即便人体部分被其他物体遮挡,仍能完整且逼真地还原出整个人体模型。

先来回顾传统方法的痛点。以往的人体渲染方案,尤其是基于视频的流程,几乎都默认人体每个部位完全可见,否则渲染效果会显著下降。然而现实是,遮挡才是常态,完全可见反倒稀少。OccFusion的解决思路非常直接:采用高效的3D高斯分片作为底层表示,并结合预训练的2D扩散模型进行监督,既保障了渲染速度,也大幅提升了保真度。
整个流程分为三个阶段:初始化、优化与细化。在初始化阶段,系统输入部分可见的掩模(即“可观测区域”),自动生成一个完整的人体掩模——相当于先把缺失部分大致补全。进入优化阶段后,通过条件化的得分蒸馏采样来优化人体高斯模型,使几何结构与外观逐步收敛到合理状态。最后的细化阶段,则利用上下文修补技术进一步提升渲染细节,使画面质量达到最佳。
实际效果如何?研究团队在ZJU-MoCap数据集以及更具挑战性的OcMotion序列上进行了评估,结果直接刷新了当前遮挡人体渲染的最优水平。更值得一提的是,整个训练过程仅需在单个Titan RTX GPU上运行10分钟即可完成,实用性极强。对于需要处理遮挡场景的AR/VR、影视后期或虚拟人应用而言,这无疑是一个值得密切关注的技术方向。
