摘要：多视图三维重建旨在通过多张二维图像恢复给定对象的三维形状。然而，现有方法忽略学习对象的旋转不变性以及区域一致性，难以准确聚合多视图特征，造成重建结果细节丢失。为了解决该问题，提出了一种基于旋转不变区域一致性的双视图点云重建方法（Dual-view Point cloud reconstruction based on Rotation-invariant Regional consistency），称为DPR2。它以两张RGB图像作为输入，在探索对象区域旋转不变性的基础上，学习跨视图对象的区域一致性促进多视图特征聚合，并重建给定对象的精细点云。编码阶段，首先引入点云初始化网络为每个视图初始化一个粗糙点云。其次，提出区域级旋转不变特征提取网络，通过计算点-点之间的欧氏距离捕捉粗糙点云不同区域的旋转不变特征。解码阶段，设计双阶段交叉注意力机制，它可以构建跨视图点云的高质量区域一致性，从而准确实现多视图特征聚合。另外，开发点云细化网络，利用被聚合的特征，将粗糙点云细化为具有细粒度细节和光滑表面的点云。在ShapeNet和Pix3D数据集上的大量实验表明，所提出的DPR2在重建性能方面优于现有先进方法。与最新方法P2M++和MVP2M++相比，CD指标分别改善了23.62%和9.06%。
文章目录
0 概述
1 相关工作
2 方法
2.1 视图编码器
2.1.1 点云初始化网络
2.1.2 区域级旋转不变特征提取网络
2.2 点云解码器
2.2.1双阶段交叉注意机制
2.2.2点云细化网络
2.3损失函数
3 实验
3.1 实现细节
3.2 与现有先进方法的定量和定性比较
3.2.1在ShapeNet数据集上三维重建
3.2.2 在Pix3D数据集上三维重建
3.3消融实验
3.3.1区域消融实验
3.3.2组件消融实验
结束语
