1.一种抗遮挡区域的无监督多视图立体重建方法,其特征在于,包括以下步骤:步骤S1、输入多视角图像数据和摄像机参数;中的幅多视角图像包括一幅参考视图和幅源视图;
步骤S2、对于中的幅多视角图像,使用一个包含3个阶段的特征金字塔网络FPN来计算多视角图像的多尺度特征;
每个阶段均使用特征金字塔网络FPN提取幅多视角图像的二维特征图,3阶段完成后得到多视角图像特征;;
步骤S3、根据输入多视角图像的已知深度范围生成一系列深度假设平面,并将所有深度假设平面扩展到与输入的多视角图像相同的大小;
步骤S4、使用可微分单应性变换将多视角图像特征投影到扩展后的深度假设平面,得到一组重投影特征;基于重投影特征构建代价体;
步骤S5、基于步骤S4得到代价体,使用全局信息归一化模块可变形的大核注意力网络DLA-Net进行代价体聚合,得到概率体,将概率体进行归一化,得到初始深度图;
重复步骤S2至步骤S5,得到最终深度图;
步骤S6、在无监督学习的训练过程中,分别使用光度一致性损失、对比一致性损失优化、感知一致性损失来优化所得的最终深度图;
步骤S7、重复步骤S2至步骤S6,直至计算得到所有视角的深度图,并对其进行融合,输出全局一致的三维点云重建结果。
2.根据权利要求1所述的抗遮挡区域的无监督多视图立体重建方法,其特征在于,步骤S1中的多视角图像数据和摄像机参数的表达式如下:;
;
中的幅多视角图像包括一幅参考视图和幅源视图;
其中,表示中多视角图像的序号,;表示中多视角图像的数量;表示第k个摄像机的内部参数矩阵,;和分别表示第1个摄像机与第个摄像机之间的旋转矩阵和平移矩阵。
3.根据权利要求1所述的抗遮挡区域的无监督多视图立体重建方法,其特征在于,步骤S2中的特征金字塔网络FPN中引入有通道注意力模块CA和空间注意力模块SA;所得幅多视角图像的特征图的分辨率均为;
其中,表示多视角图像的宽度;表示多视角图像的高度;表示阶段数。
4.根据权利要求1所述的抗遮挡区域的无监督多视图立体重建方法,其特征在于,步骤S3所得深度假设平面在最小深度值和最大深度值的区间内等间距分布。
5.根据权利要求1所述的抗遮挡区域的无监督多视图立体重建方法,其特征在于,步骤S4将重投影特征与参考视图对应的特征进行比较,以构建出代价体。
6.根据权利要求1所述的抗遮挡区域的无监督多视图立体重建方法,其特征在于,所述步骤S5中可变形的大核注意力模块先通过3D卷积提取初步特征,并经过激活函数以增强非线性特性,接着,通过两层可变形深度卷积捕捉空间偏移特征,随后,使用一层3D卷积将多分支的特征融合,并使用残差连接;最终,使用另一层3D卷积进一步融合特征;具体内容如下:步骤S5.1、首先使用3D卷积对步骤S4得到的代价体提取特征,接着,使用3D反卷积对特征图进行上采样,然后,将上采样与步骤S5.1可变形的大核注意力模块组合,再次使用反卷积操作逐步恢复特征图的空间分辨率,经过以上步骤进行得到正则化的代价体;
最后,经过一层的卷积操作,可变形的大核注意力网络输出归一化后的概率体,概率体表示像素在不同深度假设下的匹配度;归一化公式为:;
其中,表示深度假设平面下的概率体;表示深度假设平面的数量;
步骤S5.2、对概率体进行深度回归得到深度图:
。
7.根据权利要求1所述的抗遮挡区域的无监督多视图立体重建方法,其特征在于,所述步骤S6中光度一致性损失函数表达式如下:;
其中,表示基于步骤S1中输入的参考视图,表示第幅逆扭曲图像。
8.根据权利要求1所述的抗遮挡区域的无监督多视图立体重建方法,其特征在于,所述步骤S6构造无监督的对比一致性损失函数,提供伪监督信号的详细步骤如下:首先,在图像内随机选择中心点并设定尺寸,基于连通组件分析算法生成连通区域,连通区域不超出图像边界;随后,应用膨胀操作生成的连通区域被施加到初始遮挡掩码上,将区域内的像素标记为0,表示被遮挡,并动态更新已遮挡的像素数量;最终,连通区域被标记为遮挡区域,其余部分则标记为未遮挡区域,从而生成块状结构化遮挡掩码;
将多视角图像与对应的结构化遮挡掩码逐元素相乘,生成一组增强样本;
将步骤S1的多视角图像数据作为常规样本,结合增强样本,两者均经步骤S2至S5处理,分别得到常规样本的深度图和增强样本的深度图;
最后,计算两类深度图之间的对比一致性损失,为深度估计过程提供伪监督信号:;
表示二值有效性掩码。
9.根据权利要求1所述的抗遮挡区域的无监督多视图立体重建方法,其特征在于,所述步骤S6构造感知一致性损失函数的详细步骤如下:先利用预训练的特征提取网络VGG19提取参考视图的高级语义特征;
微调特征提取网络VGG19,即在特征提取网络VGG19的最后添加一层丢弃层,提取基于步骤S6得到的逆扭曲图像的高级语义特征;
其中,表示第幅逆扭曲图像的高级语义特征;逆扭曲图像是指使用光度一致性损失函数优化所得的最终深度图时,生成的中间图;
使用感知一致性损失强制参考图像和逆扭曲图像之间的特征语义相似性,为模型学习提供有效的伪监督信号:;
其中,表示感知一致性损失的权重。