[CVPR 2020]CasMVSNet_Paddle复现

本文介绍CasMVSNet的复现情况。该网络用于多视图立体匹配任务，可估计场景密集深度以重建三维场景。文中涉及训练数据集解压、训练、测试数据集处理、测试及结果评估等步骤，复现的定量结果与原文接近，整体指标0.357，略高于原文的0.355，表明复现成功。

1. CasMVSNet简介

来源：Cascade Cost Volume for High-Resolution Multi-View Stereo and Stereo Matching

项目意义：Mult-View Stereo（MVS）任务中旨在根据多视图输入估计场景的密集深度表示，从而重建三维场景。                

2. 参考资料

CasMVSNet论文：Cascade Cost Volume for High-Resolution Multi-View Stereo and Stereo MatchingPytorch代码：alibaba/cascade-stereo

3. 训练代码

3.1 解压训练数据集

In [2]

!rar x data/data129222/dtu_training.rar data/!rm -rf data/data129222/dtu_training.rar !unzip -d data/mvs_training/dtu/Depths_raw data/data129777/Depths_raw1.zip!rm -rf data/data129777/Depths_raw1.zip !unzip -d data/mvs_training/dtu/Depths_raw data/data129777/Depths_raw2.zip!rm -rf data/data129777/Depths_raw2.zip '''rar x data/data129222/dtu_training.rar data/rm -rf data/data129222/dtu_training.rar unzip -d data/mvs_training/dtu/Depths_raw data/data129777/Depths_raw1.ziprm -rf data/data129777/Depths_raw1.zip unzip -d data/mvs_training/dtu/Depths_raw data/data129777/Depths_raw2.ziprm -rf data/data129777/Depths_raw2.zip '''

登录后复制        

RAR 5.30 beta 2   Copyright (c) 1993-2015 Alexander Roshal   4 Aug 2015Trial version             Type RAR -? for helpCannot open data/data129222/dtu_training.rar没有那个文件或目录No files to extractunzip:  cannot find or open data/data129777/Depths_raw1.zip, data/data129777/Depths_raw1.zip.zip or data/data129777/Depths_raw1.zip.ZIP.unzip:  cannot find or open data/data129777/Depths_raw2.zip, data/data129777/Depths_raw2.zip.zip or data/data129777/Depths_raw2.zip.ZIP.

登录后复制        

'\nrar x data/data129222/dtu_training.rar data/\nrm -rf data/data129222/dtu_training.rar \nunzip -d data/mvs_training/dtu/Depths_raw data/data129777/Depths_raw1.zip\nrm -rf data/data129777/Depths_raw1.zip \nunzip -d data/mvs_training/dtu/Depths_raw data/data129777/Depths_raw2.zip\nrm -rf data/data129777/Depths_raw2.zip \n'

登录后复制                

3.2 开始训练

In [ ]

cd /home/aistudio/work/CasMVSNet_paddle/!python train.py --dataset=dtu_yao --trainpath /home/aistudio/data/mvs_training/dtu/ --testpath /home/aistudio/data/mvs_training/dtu/ --trainlist lists/dtu/train.txt --testlist lists/dtu/test.txt --batch_size 2

登录后复制    

4. 测试代码

4.1 解压测试数据集

In [ ]

!unzip -d data/ data/data129222/dtu_testing.zip

登录后复制    

4.2 安装测试所需的包

In [ ]

!pip install plyfile

登录后复制    

4.3 开始测试

In [ ]

cd /home/aistudio/work/CasMVSNet_paddle/!python test.py --dataset=general_eval --batch_size=1 --testpath /home/aistudio/data/dtu_testing --testlist lists/dtu/test.txt --loadckpt ./log/model_000015.ckpt

登录后复制    

5. 结果评估

由于测试需要MATLAB，所以需要将测试生成的PLY点云文件下载到本地，然后在本地评估。评估的数据为DTU数据集，评估代码和数据：https://roboimagedata.compute.dtu.dk/?page_id=36

6. 结果展示

定量结果表明，复现成功。overall指标几乎没有差别。

复现结果： acc.: 0.369 comp.:0.346 overall:0.357

原文结果： acc.: 0.325 comp.:0.385 overall:0.355

部分可视化结果展示：