摘要:针对基于深度学习的多视图立体(Multi-view Stereo,MVS)重建算法仍然存在着图像特征提取不全面,代价体匹配模糊以及深度误差不断积累而导致在无纹理和重复纹理区域重建效果差的问题,提出了基于上下文引导的代价体构建和深度细化的级联MVS网络,首先利用基于无参注意力的特征融合模块过滤无用特征并通过特征融合来解决多尺度特征不一致的问题,随后利用基于上下文引导的代价体模块融合全局信息提高代价体匹配的完整性和鲁棒性,最后利用深度细化模块学习深度残差来提升低分辨下深度图的准确性。实验结果表明该网络在DTU数据集上相比于MVSNet完整度误差下降24.4%,准确度误差下降4.1%,整体误差下降14.3%,在Tanks and Temples数据集上性能也优于大多数算法,展现出强大的竞争力。
文章目录
1 引言
2 相关工作
3 方法
3.1 网络结构
3.2 基于无参注意力的特征融合模块
3.3 代价体构建
3.4 基于上下文引导的代价体模块
3.5 代价体正则化与深度回归
3.6 深度细化模块
3.7 损失函数
4 实验
4.1 数据集
4.2 评估指标
4.3 实验细节
4.4 DTU数据集评估结果
4.5 消融实验
4.6 Tanks and Temples数据集评估结果
5 结束语