PeRFception数据集正是将Plenoxels这种表示法大规模落地的成果:将视觉特征(球谐系数)与几何特征(密度、稀疏体素网格)打包为统一格式,直接输入2D分类、3D分类及3D分割模型。下图清晰展示了数据生成与应用的整体流程。
与基于MLP的NeRF不同,Plenoxels对每个非空体素中的球谐系数进行独立优化,其体渲染模型与NeRF保持一致。对于包含背景的场景,该方案还采用了lumisphere背景表示方法。
表1对比了PeRFception与现有开源数据集的关键指标,凸显了其在存储效率与统一性方面的突出优势。
表2进一步展示了将Plenoxels分别应用于CO3D和ScanNet后生成的两个新子集。
**PeRFception-CO3D生成细节**:采用Plenoxels官方实现,对默认配置进行了适度调整——背景亮度层分辨率从1024降至512,背景层数量由64缩减至16;为获得更清晰的表面,lambda稀疏度设为10⁻¹⁰(比默认值大10倍)。体素网格从128³初始化,训练25600次迭代后上采样至256³,再继续训练51200次。最后将训练参数量化为无符号8比特(密度值除外),以最小化存储空间。每个场景中会先过滤模糊图像,并均匀抽取10%作为测试集用于渲染质量评估。
**PeRFception-ScanNet生成细节**:ScanNet的大量帧存在运动模糊,可能影响几何重建。实践中,训练前生成射线批处理并加载至CPU内存,以高效利用内存带宽。每个场景最多均匀采样1500帧,少于1500帧的场景则滤除拉普拉斯低方差的模糊图像。ScanNet为室内由内向外拍摄,图像重叠较少,易产生漂浮物。为解决此问题,利用ScanNet提供的反投影深度图初始化体素网格(而非从密集网格开始),再结合连通域分析(CCA)剔除离群点。这一策略显著提升了重建稳定性,且避免了过度生成漂浮物。最终PeRFception-ScanNet仅占用35GB磁盘空间,而原始ScanNet视频流约966GB——压缩率高达96.4%,极大提升了数据的可访问性。
表3展示了生成数据集的渲染质量。
实验结果部分展示了分类与分割的量化对比,以及不同输入模态下的表现。

