1.一种基于孪生网络的双目视差估计方法,其特征在于,包括以下步骤:获取左图和右图;构建双目视差估计模型;将左图和右图输入双目视差估计模型;
所述双目视差估计模型包括特征提取网络、频域注意力模块、初始视差估计网络和迭代优化网络;
所述特征提取网络包含特征网络和上下文网络;左图和右图输入特征网络处理后得到的输出进入初始视差估计网络;
所述初始视差估计网络包括聚合代价体、沙漏网络和n层网格检索模块L,特征提取网络的输出进入频域注意力模块;
所述迭代优化网络由n层门控逻辑单元组成;
所述左图和右图输入特征网络得到的左右图像特征,经过所述初始视差估计网络的聚合代价体得到初始视差图;
左右图像特征经过所述初始视差估计网络的聚合代价体处理后,再进入n层网格检索模块L,得到n层的相关特征;
所述左图和右图中的任一个输入上下文网络得到多层上下文特征,多层上下文特征输入频域注意力模块进行处理;
使用所述迭代优化网络,基于频域注意力模块的输出和n层网格检索模块L后的相关特征,迭代优化所述初始视差图,得到最终视差图;
所述得到初始视差图的过程,具体包括以下步骤;
(i)设定视差值d,并将左右图像特征分别沿反方向移动d像素位置;
(ii)对位移后的左右图像特征进行相关计算,以得出d视差下的匹配代价,计算公式如下:;
其中,表示内积运算,表示左图像的特征,表示右图像特征沿反方向移动d像素,d表示视差值,d的范围在0到设定的最大视差范围内;
(iii)将匹配代价根据程序预先设定的分组数,进行重塑reshape操作,并对每组内的特征图进行平均操作,以获取每个d视差下的视差匹配代价;
从(i)到(iii)的过程重复进行,直至获取到所有深度下的匹配代价;在匹配代价中对右侧进行零填充;最终,将所有匹配代价级联起来,形成初始代价体,其大小为G×V×H/4×W/4,其中G为分组数,V为视差范围;将所述初始代价体经过沙漏网络处理后,得到与初始代价体尺寸一致的聚合代价体;
在获得聚合代价体后,经过基于所述聚合代价体的相关金字塔构建,并通过三次视差维度步长为2的平均池化操作,得到一个相关金字塔;在后续的迭代优化中,每次迭代所需的当前状态信息都是通过查询相关金字塔来获取的;基于所述聚合代价体,通过基于改进后的Topk视差回归策略处理,得到初始视差图;
所述频域注意力模块的处理过程包括以下步骤:
频域注意力模块首先将输入特征进行Patch展开,得到的Patch块,其大小为8×8;然后,通过FFT将Patch块转换至频域空间;在频域内,利用具有可学习权重参数的门控层来确定每个频率分量的权重;所述权重通过反向传播进行更新;接着,将加了权重后的Patch块经IFFT转回空间域,并折叠回原尺寸;最后,对复数特征求绝对值,获得对应的信号幅度。
2.如权利要求1所述的一种基于孪生网络的双目视差估计方法,其特征在于,所述特征网络,采用MobileNetv2作为骨干网络,在MobileNetv2的前三个阶段分别提取输入图像的1/4,1/8和1/16分辨率的特征;使用自适应空间特征融合ASFF方式,将上述三个分辨率的特征进行融合,并通过1×1卷积调整通道数,得到左右图像特征;
所述上下文网络,采用MobileNetv2作为骨干网络,提取左图或右图中任意一个图像的1/4、1/8和1/16分辨率的多层上下文特征。
3.如权利要求1所述的一种基于孪生网络的双目视差估计方法,其特征在于,所述迭代优化网络,运用多层级的门控逻辑单元MGRU对初始视差进行精细化调整,所述得到所述最终视差图的过程,包括以下步骤:将通过聚合代价体得到的相关金字塔进行网格检索,得到相关金字塔的所有层级的相关特征作为输入,将经过频域注意力模块处理后的上下文相关特征也作为输入,将这两个输入信息输入到MGRU中进行处理,得到视差补偿,与上次迭代得到的视差相加,得到本次迭代的视差,经过n个MGRU迭代优化后,得到最终的视差图。
4.如权利要求1所述的一种基于孪生网络的双目视差估计方法,其特征在于,所述特征提取网络包括残差层,1×1卷积层,激活函数层。
5.如权利要求1所述的一种基于孪生网络的双目视差估计方法,其特征在于,所述步骤(iii)中,所述预先设定的分组数为两组。
6.如权利要求1所述的一种基于孪生网络的双目视差估计方法,其特征在于,所述左图和右图,均为海底水流图片。