深度学习三维物体重建全指南：从入门到进阶（2025最新综述）

欢迎踏入深度学习驱动的三维物体重建领域！本文基于《基于图像的三维物体重建：深度学习时代的现状与趋势》这篇经典综述，系统梳理自2015年至今，如何借助深度学习技术从一张或多张RGB照片中精准还原物体的三维形态。无论您是刚入门的新手，还是深耕多年的研究者，都能在这里找到全面、有序的知识指引。

一、问题定义与分类框架

三维重建的核心目标：给定物体的一张或多张RGB图像，学习一个预测函数，使其输出与真实物体高度吻合的三维模型。数学上，目标函数为 min_θ L(f_θ(I), S_gt)，其中 f_θ 是参数为θ的预测网络，L 表示损失函数（如体素损失、点云距离等）。

本文依据四个维度对算法进行归类：

• 输入（Input）：单张图像、多张图像（已知/未知外参）、视频流（时序相关序列）、物体类别（已知/未知）、先验信息（轮廓、语义标注等）。
• 输出表示（Output）：
  • 体素表示（Volumetric）：早期常用，但内存消耗大；
  • 表面表示（Surface）：网格、点云，内存较小但结构不规则，不易融入深度学习；
  • 中间表示（Intermediate）：分解为多个步骤，如先预测深度图、法向图，再重建三维模型。
• 网络结构（Network architecture）：编码器-解码器框架，编码器通常采用卷积+池化+全连接，解码器使用全连接或反卷积。
• 训练方式（Training）：数据集、损失函数、监督程度（三维监督、二维监督、无监督等）。

二、编码阶段：从图像到隐空间

编码器将输入图像映射为隐空间中的特征向量 z = h(I)。一个理想的映射应满足：

• 相似物体的图像在隐空间中彼此靠近；
• z 的微小扰动对应形状的细微变化；
• 与相机位姿无关；
• 三维模型与其二维图像映射到同一位置（消除歧义）。

2.1 离散隐空间

Wu等人（3D ShapeNet）使用三维卷积将体素网格编码为4000维向量，早期广泛应用于从深度图重建。二维编码网络类似，但采用二维卷积（如[4],[5]等）。

2.2 连续隐空间

变分自编码器（VAE）将输入映射到高斯分布的均值与标准差，使隐空间连续，支持插值。3D-VAE扩展用于体素、深度、表面和点云重建。

2.3 层次隐空间

Liu等人引入多层隐变量，全局层连接到多个局部层，分别代表不同抽象层次的特征，有效提升重建质量。

2.4 分离表示

将形状、位姿、光照等要素分别编码。例如，Grant等人将RGB图像编码为形状编码和位姿编码，各自解码，降低参数数量、提高效率。