1.一种基于自适应权值和局部熵的立体匹配方法,其特征在于:首先在自适应权值理论框架下根据灰度相似性和空间相近性重新定义窗口权值的计算;然后在代价函数中引入数据平滑项并运用图像局部熵确定其惩罚系数;最后对代价聚合得到的初始视差图运用左右一致性检验和加权中值滤波进行视差精化,以获得较高精度的视差图;
具体步骤如下:
步骤一:数据项计算:在确定每个匹配窗口内的权重值时,根据格式塔理论下的相似性和相近性原则,分别利用图像的灰度相似性和空间上的相近性来构造权值计算方式;
步骤二:平滑项计算:依据视差图分段平滑的假设,用视差图中已经计算出来的邻域视差对当前正在计算的视差进行修正;
步骤三:代价函数计算:代价函数值的大小表示两个匹配点相似度的大小,代价函数由数据项和平滑项共同组成,在匹配代价函数的计算中引入数据平滑项;
步骤四:代价聚合:在计算匹配代价后,每一个搜索视差都对应着一个匹配代价函数值,选择代价函数值最小时对应的视差即为该像素的最佳视差,从而得到初始视差图;
步骤五:对得到的初始视差图运用左右一致性检验和加权中值滤波进行视差精化,最终获得匹配精度较高的视差图。
2.根据权利要求1所述的基于自适应权值和局部熵的立体匹配方法,其特征在于:所述步骤一的具体步骤为:在匹配窗口内每个像素权值的表达式为:
w(p,q)=fg(Δgpq)·fs(Δspq) (1)
式(1)中,fg(Δgpq)和fs(Δspq)分别表示窗口内中心像素p与邻域像素q在灰度上的权重和空间上的权重;
根据灰度相似性原则对函数fg(Δgpq)定义,采用灰度值截断处理方式来定义函数fg(Δgpq),表达式为:式(2)中,Δgpq为匹配窗口内中心像素p与邻域像素q差的绝对值,t为灰度截断值;
依据二维正态分布具有单值性和旋转对称性,在每一个匹配窗口内,单值性体现在邻域像素权值随着与中心点的距离增加而递减,旋转对称性体现在每一个方向上距离相同时权值也相同,空间上的相近性对函数fs(Δspq)可以定义为服从二维正态分布,表达式为:式(3)中,Δspq=x2+y2,x和y分别为中心像素像素p与邻域像素q在x、y方向上的坐标值之差,σ为标准差,其大小决定了fs(Δspq)在二维空间上权值分布的幅度;
匹配代价函数的数据项通过在左右图像的匹配窗口内的权值进行计算得到,在计算数据项时,需要联合参考图像和目标图像的匹配窗权值来计算,所以数据项为:式(4)中, 和 分别表示搜索视差为d时在目标图像匹配窗中的中心像素和邻域像素,Np和 分别为参考图像匹配窗内邻域像素的集合和搜索视差为d时目标图像匹配窗内邻域像素的集合, 为参考图像匹配窗与视差为d时目标图像匹配窗内相对应灰度值之差的绝对值矩阵为:式(5)中,Ir(q)和 分别为参考图像匹配窗邻域像素矩阵和视差为d时目标图像匹配窗邻域矩阵。
3.根据权利要求1所述的基于自适应权值和局部熵的立体匹配方法,其特征在于:所述步骤二的具体步骤为:用视差图中已经计算出来的邻域视差对当前正在计算的视差进行修正,通过对当前正在计算的视差值与领域内已经计算出的视差进行比较,视差越接近,给Esmooth(d)赋予的惩罚量就越小,反之越大;Esmooth(d)为:式(6)中,p和q分别表示待匹配点和已匹配点,取q为距离p最近的两个点;
V(dp,dq)是像素dp和dq的视差平滑约束,为:
P为惩罚常数,平滑项中的λ叫做惩罚系数为:
式(8)中,λ1、λ2、λ3为常数;
图像局部熵的大小反映了局部图像信息量的大小,图像的局部熵越大,纹理信息越丰富,反之图像纹理越弱,图像的局部熵用下面两个公式计算:H表示图像的局部熵,计算局部熵的窗口大小为M×N,f(i,j)为局部窗口中心点像素的灰度值,pij为点(i,j)的概率分布。
4.根据权利要求1所述的基于自适应权值和局部熵的立体匹配方法,其特征在于:所述步骤三的具体步骤为:为了减小在匹配过程中的误匹配,在匹配代价函数的计算中引入数据平滑项,匹配代价函数定义如下:E(d)=Edata(d)+λ·Esmooth(d) (11)式(11)中,Edata为数据项,在左右图像的匹配窗口内计算得出;Esmooth叫做数据平滑项,λ叫做平滑项的惩罚系数。
5.根据权利要求1所述的基于自适应权值和局部熵的立体匹配方法,其特征在于:所述步骤四的具体步骤为:在计匹算配代价后,每一个搜索视差都对应着一个匹配代价函数值E,选择代价函数值最小时对应的视差即为该像素的最佳视差dp:式(12)中,Sd={dmin,...,dmax}为视差搜索范围。
6.根据权利要求1所述的基于自适应权值和局部熵的立体匹配方法,其特征在于:所述步骤五的具体步骤为:在得到初始的视差图之后,由于立体匹配过程中存在遮挡问题,通过中值滤波和左右一致性检测对视差图立体匹配过程中存在遮挡问题进行后处理,对于左视差图中的任意一点p(i,j)的视差为d1,则在右视差图中对应点 的视差值记为d2,当|d1-d2|小于某个阈值,则为正确匹配点,该点视差记为d1,否则,标记为-1记为误匹配点;公式为:经过左右一致性检查后会产生水平条纹失真问题,采用加权中值滤波对视差图做进一步后处理,以原始的左图像作为引导图像,以校正视差点p作一个校正窗口:式(14)中,Δcpq和Δspq分别为中心像素p和邻域像素q在RGB色彩空间上的差异性和几何空间的距离,λc和λs分别为所对应的权重系数;
分析视差图中对应窗口内的视差分布,对p点邻域内所有点在视差图中进行加权直方图统计,统计后每个视差对应的权值为id,按照视差进行升序排列,最后在对加权直方图进行积分,在取得积分中值所对应的视差即为该点的最终视差:l为视差搜索时的最大视差。