摘要：为解决三维人脸重建方法DECA（Detailed Expression Capture and Animation）采用2D图像训练导致信息缺失所带来的重建形状不够准确和MICA（MetrIC FAce）方法缺乏高频细节以及遇到无法识别的人脸照片无法重建的问题，利用3D数据和更为鲁棒的人脸识别网络完成有监督和自监督混合训练，提出基于FLAME（Fitting Landmarks And Morphable Expression）人脸模型、AdaFace（Quality Adaptive Margin for Face Recognition）人脸识别网络和DECA框架的高精度细节融合两阶段人脸重建方法（FIne-grained Facial Reconstruction，FiFR）。在粗重建阶段通过Adaface身份编码器将2D图像编码至隐空间，由2D和3D数据训练的映射网络将编码转化为FLAME人脸模型的相关参数，生成粗重建结果；在精细重建阶段，参考DECA方法，通过细节一致性损失约束生成详细的UV置换贴图，增强人脸的高频细节，实现了单一图像的三维人脸精细重建。实验结果表明，FiFR比DECA方法重建结果平均误差减少了14%，针对低分辨率图像误差减少达到了18%；相对于MICA方法，重建人脸具有更多的高频细节。
文章目录
1 高精度细节融合三维人脸重建方法（FiFR）
1.1 方法概述
1.2 粗重建
1.2.1 粗重建网络
1.2.2 粗重建损失函数
1.3 细节重建
1.3.1 细节重建网络
1.3.2 细节重建损失函数
2 实验
2.1 实验数据及预处理
2.2 实验设置与评价指标
2.3 重建结果对比
2.4 消融实验
2.4.1 编码器消融实验
2.4.2 3D数据训练消融实验
3 结论
