1.一种基于卷积神经网络的非端到端立体匹配方法,其特征在于,包括如下步骤:S1:利用计算机从KITTI数据集平台中获得标准的图像对,图像对采用的左右图像尺寸均为1242pixel×375pixel;
S2:设计卷积神经网络架构,其包括8个卷积层;每个卷积层后面跟着一个激活函数,前
7层采用ReLU函数作为激活函数,最后一层使用sigmoid激活函数实现拟合,前5个激活函数层之后均有池化层,在每层后面都引入了归一化层,最后经过点积层得到的相似性度量;
S3:将从KITTI数据集平台中获取的标准数据集输入到步骤S2所设计的卷积神经网络架构中;
S4:首先对输入到卷积神经网络架构中的立体图像对进行卷积操作;
S5:经过步骤S4的卷积操作之后,利用ReLU激活函数解决梯度消失问题;
S6:然后对卷积之后得到的结果进行池化操作,具体为:选择平均池化操作,可以提取得到更多的上下文信息;
S7:对步骤S6得到的结果进行归一化操作;
S8:利用点积层进行点积运算将相似性得分转换成匹配代价;
S9:通过使用传统立体匹配算法的处理步骤,来改善视差图的质量,具体为:采用胜者为王的方法计算视差,就是目标像素在一个区域内寻找匹配代价最小的像素点对应的视差值;
S10:然后利用左右一致性检测解决立体匹配中图像对存在的遮挡问题;
S11:使用亚像素增强算法来对视差图进行校正;
S12:利用双边滤波对亚像素级视差图进行优化;
S13:再利用中值滤波对视差图处理。
2.根据权利要求1所述的一种基于卷积神经网络的非端到端立体匹配方法,其特征在于:所述步骤S4具体为:利用公式如下所示:其中,H表示输入图像的高,W表示输入图像的宽,卷积层l的输入张量为 卷积核的大小为 (il+1,jl+1)表示进行卷积运算的位置,fi,j表示学习的权重。
3.根据权利要求1所述的一种基于卷积神经网络的非端到端立体匹配方法,其特征在于:所述步骤S5具体为:利用公式如下所示:x表示经过卷积层之后的输出,作用是将卷积层之后的输出压缩到特定的边界内。
4.根据权利要求1所述的一种基于卷积神经网络的非端到端立体匹配方法,其特征在于:所述步骤S7中归一化操作包括如下步骤:第1步,计算m个样本的平均值,如下公式所示,
其中μB表示为平均值,xi表示第i个样本;
第2步,计算m个样本的方差,如下公式所示,
其中方差记为σB,归一化后的样本记为B{x1...m};
第3步,用样本减去均值,然后再除以方差进行归一化,如下公式所示,其中ε是为了避免除数为0时所使用的微小正数;
第4步,对归一化后的数据进行线性平移和映射来增强模型的表达能力,如下公式所示:其中γ、β是网络层需要根据梯度反向传播学习得到的参数。
5.根据权利要求1所述的一种基于卷积神经网络的非端到端立体匹配方法,其特征在于:所述步骤S8具体为:利用公式如下所示:CCNN(p,d)=-s(<pL(p),PR(p-d)>)式中,d表示为视差,pL(p)和PR(p-d)分别表示左图像上的点p和右图像上对应的点p的位置,s(<pL(p),PR(p-d)>)表示将网络结构输出的相似性得分,然后利用点积运算转换为匹配代价,CCNN(p,d)表示匹配成本。
6.根据权利要求1所述的一种基于卷积神经网络的非端到端立体匹配方法,其特征在于:所述步骤S9具体为:利用公式如下所示:D(p)=argminC(p,d)
D(p)表示计算视差的图像,minC(p,d)表示视差值d的最小代价聚合。
7.根据权利要求1所述的一种基于卷积神经网络的非端到端立体匹配方法,其特征在于:所述步骤S10具体为:设定如下:
1)if|d1-d2|≤1,则判定P点视差值正确;
2) 使得|d1-d2|≤1,则可判定P点是误匹配点;
其中,d(p)表示p点的视差值,d(pl)表示左图像上p点的视差值,d(pr)表示右图像上p点的视差值;
具体赋值方法:
1:对于遮挡点p,从水平方向找到第一个左侧非遮挡点记作pl,右侧非遮挡点记作pr;
2:d(p)=min(d(pl),d(pr)),点p的视差值为pl和pr视差值中较小的一个值。
8.根据权利要求1所述的一种基于卷积神经网络的非端到端立体匹配方法,其特征在于:所述步骤S11具体为:利用公式如下所示:其中,d表示像素点p经过左右一致性后输出的视差值,CCNN(p,d)表示目标像素的匹配成本,C-=CCNN(p,d-1)、C=CCNN(p,d)和C+=CCNN(p,d+1),DSE(p)为最终得到亚像素级视差值。
9.根据权利要求1所述的一种基于卷积神经网络的非端到端立体匹配方法,其特征在于:所述步骤S12具体为:利用公式如下所示:w(x,y,k,l)=z(x,y,k,l)×r(x,y,k,l)其中,z(x,y,k,l)表示定义域核函数;r(x,y,k,l)表示值域核函数;(x,y)表示模板内除中心像素的位置;(k,l)表示模板内中心像素位置;w(x,y,k,l)表示表示通过双边滤波后输出的灰度值。
10.根据权利要求1所述的一种基于卷积神经网络的非端到端立体匹配方法,其特征在于:所述步骤S13具体为:利用公式如下所示:其中,g(x,y)表示为图像上(x,y)点通过中值滤波后输出的灰度值;Txy表示为中值滤波的模板;(r,c)表示为滤波模板中所包含像素坐标;f(r,c)表示为滤波模板中所包含像素灰度值大小;最后中值滤波输出的视差图为最终优化的视差图。