1.基于一致性代价体积的双目立体匹配方法,其特征在于,包括以下步骤:步骤1、输入双目图像,通过多尺度匹配特征提取网络获取匹配特征、和,其中表示左视图,表示右视图;
步骤2、构建多尺度匹配代价体积;
步骤3、构建一致性代价体积;
S31、根据当前迭代的深度关系,对右视特征图的特征点进行翘曲变换,生成深度关系特征图,计算公式为:;
式中,表示深度关系特征图;表示特征翘曲操作;
S32、将深度关系特征图与左视特征图进行差值计算,获得一致性注意力权重,计算公式为:;
式中,表示一致性注意力;
S33、基于一致性注意力权重生成一致性特征图,计算公式为:;
式中,表示一致性特征图;
S34、将一致性特征图沿极线方向与左视特征图按照邻域半径进行相似性度量计算,获得一致性代价体积,计算公式为:;
式中,表示一致性代价体积;表示特征图上像素点的水平方向坐标;表示特征图上像素点的垂直方向坐标;
步骤4、利用残差卷积块构建上下文编码器,提取图像上下文特征,获得多尺度上下文特征图;
步骤5、将多尺度匹配代价体积和一致性代价体积输入到深度特征编码器进行深度特征的循环迭代编码,获得深度特征信息;
步骤6、一致性引导的多GRU深度信息融合单元:特征输入与迭代更新流程;
S61、通过多个卷积GRU单元组成一致性引导的多GRU深度信息融合单元;
S62、将深度特征信息和多尺度上下文特征图输入到卷积GRU单元中,进行深度图的循环迭代提取;
S63、在分辨率下通过GRU单元对一致性代价体积的深度特征信息进行卷积处理,更新隐藏状态;
S64、通过隐藏状态共享机制将深度特征信息传递至当前分辨率层级以外的其余分辨率层级,进行同步更新;
S65、通过卷积方式生成迭代深度结果;
S66、将迭代深度结果累加至前次迭代的输出结果,完成新一轮迭代结果的更新;
步骤7、输出深度图。
2.根据权利要求1所述的基于一致性代价体积的双目立体匹配方法,其特征在于,步骤1的具体过程为:S11、选择同一场景下的左右双目图像,左右双目图像包括左视图和右视图;
S12、将左右双目图像输入多尺度匹配特征提取网络中,进行匹配特征提取,获得左右双目特征图。
3.根据权利要求2所述的基于一致性代价体积的双目立体匹配方法,其特征在于,S12中,匹配特征提取过程中的计算公式为:;
;
;
;
;
式中,表示输入特征;表示第个残差卷积模块;表示第1个残差卷积模块;表示残差卷积模块;表示第1个残差卷积模块;表示第2个残差卷积模块;表示步长为1、卷积核大小为3的卷积;表示在第个尺度级别上,卷积核大小为3x3的卷积;表示步长为2、卷积核大小为3x3的卷积;表示步长为1、卷积核大小为7x7的卷积;表示进行特征提取后,获得分辨率为输入图像原始尺寸的特征图,其中表示左视图,表示右视图;表示编码器输出的、空间分辨率为输入图像的特征图;表示编码器输出的、空间分辨率为输入图像的特征图;表示左右双目图像特征,表示左视图的图像特征,表示右视图的图像特征;表示归一化操作;表示非线性激活函数。
4.根据权利要求3所述的基于一致性代价体积的双目立体匹配方法,其特征在于,步骤2的具体过程为:S21、将左右双目特征图的特征向量沿极线方向执行点积运算,进行相似性度量,生成全相关匹配代价体积,计算公式为:;
式中,表示全相关匹配代价体积;表示进行特征提取后获得分辨率为输入图像原始尺寸的左视特征图;表示进行特征提取后获得分辨率为输入图像原始尺寸的右视特征图;表示矩阵乘法操作;
S22、通过池化操作对全相关匹配代价体积进行下采样,计算公式为:;
式中,表示匹配代价金字塔的层数;表示将匹配代价体积下采样后得到匹配代价金字塔的第层;表示平均池化操作;
S23、将不同尺度深度线索合并,获得多尺度匹配代价体积,计算公式为:;
式中,表示多尺度匹配代价体积;表示将不同尺度深度线索合并;以迭代深度作为坐标原点,提取坐标原点周边深度线索;表示当前迭代深度;表示相似性度量的邻域半径。
5.根据权利要求4所述的基于一致性代价体积的双目立体匹配方法,其特征在于,步骤4中提取图像上下文特征的计算过程为:;
;
;
;
;
;
式中,表示上下文编码器输出分辨率为输入图像原始尺寸的上下文特征图;表示上下文编码器输出分辨率为输入图像原始尺寸的上下文特征图;表示上下文编码器输出分辨率为输入图像原始尺寸的上下文特征图;表示多尺度上下文特征图;表示左视图的原始输入图像。
6.根据权利要求5所述的基于一致性代价体积的双目立体匹配方法,其特征在于,步骤5中,将多尺度匹配代价体积和一致性代价体积输入到深度特征编码器中,进行深度特征的循环迭代编码,计算公式为:;
;
式中,和分别表示从和中提取的深度特征信息;表示空间分辨率为输入图像原始尺寸的视差图。
7.根据权利要求6所述的基于一致性代价体积的双目立体匹配方法,其特征在于,步骤6中的计算公式为:;
;
;
;
;
式中,表示迭代次数,共有次迭代过程;表示卷积GRU单元的操作;表示在分辨率下,第次迭代并输出的深度图;表示不同分辨率下的隐藏状态;表示分辨率下的隐藏状态;表示分辨率下的隐藏状态;表示分辨率下的隐藏状态。
8.根据权利要求7所述的基于一致性代价体积的双目立体匹配方法,其特征在于,步骤7中:重复步骤5和步骤6,循环迭代优化深度图,将第次迭代后深度图上采样到与输入图像同等分辨率大小,获得最终的深度图并输出。