欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2020112795804
申请人: 长安大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种局部立体匹配方法,其特征在于,该方法包括以下步骤:步骤一、图像采集及极线校正:

步骤101、双目相机包括左相机和右相机,左相机获取左图像并发送至计算机,同时,右相机获取右图像并发送至计算机,计算机得到左图像和右图像;

步骤102、计算机采用极线校正算法分别对左图像和右图像进行极线校正,得到左校正图像和右校正图像;其中,左校正图像IL和右校正图像IR均为彩色图像,且左校正图像IL和右校正图像IR的行数均为n,左校正图像IL和右校正图像IR的列数均为m;

步骤103、计算机将左校正图像中各个像素点按照从左到右从上到下的顺序排序,得到I个像素点;且I=n×m;其中,n、m和I均为正整数;

计算机将右校正图像中各个像素点按照从左到右从上到下的顺序排序,得到I个像素点;

步骤104、以图像左上角为原点o,过原点o且沿图像的行方向为图像的u轴,过原点o且沿图像的列方向为图像的v轴,得到像素坐标系ouv;

步骤二、RGB三分量提取:

采用计算机调取RGB分量提取模块,从左校正图像和右校正图像分别提取R分量、G分量和B分量,得到左校正图像的R分量二维矩阵、左校正图像的G分量二维矩阵和左校正图像的B分量二维矩阵,以及右校正图像的R分量二维矩阵、右校正图像的G分量二维矩阵和右校正图像的B分量二维矩阵;

步骤三、颜色匹配代价的获取:

步骤301、以左校正图像为基准,从右校正图像中进行判断,设定左校正图像IL中拍摄区域对应点的左像素点记作第i个左像素点,且第i个左像素点在像素坐标系ouv中的坐标记作第i个左像素点的坐标设定右校正图像IR中拍摄区域对应点的右像素点记作第j个右像素点,且第j个右像点在像素坐标系ouv中的坐标记作为第j个右像点的坐标 且 其中,1≤i≤I,1≤j≤I,i和j均为正整数;

步骤302、左校正图像和右校正图像中,设定 其中,a为自然数,当a=0时,初始视差值设定值d0为零;当a≥1时,da=da-1+1,da表示第a个视差设定值,da-1表示第a-1个视差设定值;

步骤303、计算机根据左校正图像的R分量二维矩阵、左校正图像的G分量二维矩阵和左校正图像的B分量二维矩阵,得到左校正图像中R分量的比例系数 左校正图像中G分量的比例系数 和左校正图像中B分量的比例系数步骤304、计算机根据公式 得到第i个左像素点在视差为da时的R分量绝对值差;计算机根据公式 得到第i个左像素点在视差为da时的G分量绝对值差;计算机根据公式 得到第i个左像素点在视差为da时的B分量绝对值差;其中, 表示第i个左像素点的R分量, 表示第i个左像素点的G分量, 表示第i个左像素点的B分量; 表示第j个右像素点的R分量, 表示第j个右像素点的G分量,表示第j个右像素点的B分量;

步骤305、计算机根据公式 得到第i个左像素点在视差为da时的颜色代价 其中,w1表示第一加权系数,w2表示第二加权系数,w3表示第三加权系数;

步骤四、梯度匹配代价的获取:

步骤401、计算机对左校正图像和右校正图像进行灰度化处理,得到左灰度图像和右灰度图像;

步骤402、设定左灰度图像中拍摄区域对应点的第i个像素点记作第i个左灰度像素点,且第i个左灰度像素点在像素坐标系ouv中的坐标记作第i个左灰度像素点的坐标设定右灰度图像中拍摄区域对应点的第j个像素点记作第j个右灰度像素点,且第j个右灰度像素点在像素坐标系ouv中的坐标记作为第j个右灰度像素点的坐标 且步骤403、左灰度图像和右灰度图像中,设定 其中,a为自然数,当a=0时,初始视差值设定值d0为零;当a≥1时,da=da-1+1,da表示第a个视差设定值,da-1表示第a-1个视差设定值;

步骤404、当 时,计算机根据公式

得到左灰度图像中第i个左灰度像素点沿u方向的灰度梯度 其中,表示左灰度图像中 坐标处的像素点的灰度值, 表示第i个左灰度像素点的灰度值;

当 时,计算机根据公式 得到左灰度

图像中第i个左灰度像素点沿u方向的灰度梯度 其中, 表示左灰度图像中 坐标处的像素点的灰度值,

当 时,计算机根据公式 得

到右灰度图像中第j个右灰度像素点沿u方向的灰度梯度 其中, 表示右灰度图像中 坐标处的像素点的灰度值, 表示第i个右灰度像素点的灰度值;

当 时,计算机根据公式 得到右灰

度图像中第j个右灰度像素点沿u方向的灰度梯度 其中, 表示右灰度图像中 坐标处的像素点的灰度值;

步骤405、计算机根据公式 得到第i个左像素点在视差为da时u方向的灰度梯度差值

步骤五、匹配代价函数的获取:

计算机建立第i个左像素点在视差为da时的匹配代价函数,如下式:其中,α表示平衡颜色和梯度的因子,τD

表示颜色阈值,τG表示梯度阈值,min(·)表示取最小值;

步骤六、判断窗口区域的获取:

步骤601、左校正图像中,当对第i个左像素点 进行正上方遍历时,具体过程如下:步骤6011、如果第i个左像素点 位于图像边界,则停止正上方遍历,得到第i个左像素点 正上遍历的最大像素个数Ls=0;如果第i个左像素点 不位于图像边界,执行步骤6012;

步骤6012、对第i个左像素点 正上方的第fs个待遍历像素点 进行判断,判断 是否成立,如果 成立,执行步骤6013和步骤6014;否则,执行步骤6015;其中, 表示第i个左像素点 正上方的第fs个待遍历像素点的R分量,fs为正整数,τa表示判断阈值;

步骤6013、如果第i个左像素点 正上方的第fs个待遍历像素点位于图像边界,停止正上方遍,则第fs个待遍历像素点和第i个左像素点 之间的像素个数为第i个左像素点 正上遍历的最大像素个数Ls;

步骤6014、如果第i个左像素点 正上方的第f个待遍历像素点不位于图像边界,按照步骤6012所述的方法对第i个左像素点 正上方的下一个待遍历像素点进行判断;

步骤6015、如果 不成立,停止正上方遍,则第fs-1个待遍历像素点和第i个左像素点 之间的像素个数为第i个左像素点 正上遍历的最大像素个数Ls;

步骤602、按照步骤6011所述的方法,对第i个左像素点 进行正下方遍历,得到第i个左像素点 正下方遍历的最大像素个数Lx;

步骤603、按照步骤6011所述的方法,对第i个左像素点 进行正左方遍历,得到第i个左像素点 正左方遍历的最大像素个数Lz;

步骤604、按照步骤6011所述的方法,对第i个左像素点 进行正右方遍历,得到第i个左像素点 正右方遍历的最大像素个数Ly;

步骤605、左校正图像IL中第i个左像素点 正上方遍历的最大像素个数Ls、第i个左像素点 正下方遍历的最大像素个数Lx、第i个左像素点 正左方遍历的最大像素个数Lz和第i个左像素点 正右方遍历的最大像素个数Ly围设的区域为第i个左像素点的判断窗口区域;

步骤七、匹配代价的聚合:

步骤701、采用计算机获取第i个左像素点 的判断窗口区域中的像素总数量并记作R,采用计算机获取第i个左像素点 的判断窗口区域中各个像素的灰度值;

步骤702、采用计算机调取均值处理模块,并输入第i个左像素点 的判断窗口区域中的像素总数量R和第i个左像素点 的判断窗口区域中各个像素的灰度值,得到第i个左像素点 的判断窗口区域的像素均值并记作μi;

采用计算机调取方差处理模块,并输入第i个左像素点 的判断窗口区域中的像素总数量R、第i个左像素点 的判断窗口区域中各个像素的灰度值和第i个左像素点的判断窗口区域的像素均值μi,得到第i个左像素点 的判断窗口区域的方差并记作步骤703、采用计算机将第i个左像素点 的判断窗口区域中除去第i个左像素点后的各个像素点按照从上到下从左到右的顺序排序,则第i个左像素点 的判断窗口区域的权重为 且 其中,r为正整数,且1≤r≤R-1, 表示左灰度图像第i个左像素点 的判断窗口区域中除去第i个左像素点 后的第r个像素点的灰度值, 表示左灰度图像第i个左像素点 的灰度值,ε表示平滑常数;

步骤704、按照步骤三至步骤五所述的方法,得到第i个左像素点 的判断窗口区域中除去第i个左像素点 后的第r个像素点在视差da下的匹配代价函数步骤705、采用计算机根据公式 得到第i个左像素点在视差da下的匹配代价聚合值

步骤706、采用计算机将第i个左像素点 在视差d1下的匹配代价聚合值,第i个左像素点 在视差d2下的匹配代价聚合值,...,第i个左像素点 在视差da下的匹配代价聚合值从小到大进行排序,得到匹配代价聚合值最小值,则匹配代价聚合值最小值所对应的视差为第i个左像素点 的待判断视差并记作步骤八、视差优化:

步骤801、采用计算机将右校正图像中与左校正图像中第i个左像素点 视差为的右像素点记作第i个左像素点 的第一待匹配点 和第二待匹配点步骤802、以右校正图像为基准,按照步骤三至步骤七所述的方法,从左校正图像中进行判断,获取第一待匹配点 的待判断视差 和第二待匹配点的待判断视差

从第一待匹配点 的待判断视差 和第二待匹配点 的待判断视差 中获取待匹配点的待判断视差较小值

步骤803、采用计算机判断 是否成立,当 成立,则左校正图像中第i个左像素点 和右校正图像中 所对应的待匹配像素点为匹配像素点,则左校正图像中第i个左像素点 的视差值为 当 不成立,执行步骤804;

步骤804、以左校正图像为基准,按照步骤三至步骤八所述的方法,获取左校正图像中左像素点 视差 和左校正图像中左像素点 视差 则左校正图像中第i个左像素点 的视差值为

步骤805、采用计算机根据左校正图像中第i个左像素点 的视差值,获取视差图;

步骤806、采用计算机对视差图进行加权中值滤波处理,得到优化后的视差图。

2.按照权利要求1所述的一种局部立体匹配方法,其特征在于:步骤401中计算机对左校正图像和右校正图像进行灰度化处理,得到左灰度图像和右灰度图像,具体过程如下:计算机根据公式

或者 对左校正图像进行灰度处理,得到左灰度图像;

表示左灰度图像中第i个左灰度像素点 的灰度值;

计算机根据公式

或者 对右校正图像进行灰度处理,得到右灰度图像;

表示右灰度图像中第j个右灰度像素点 的灰度值。

3.按照权利要求1所述的一种局部立体匹配方法,其特征在于:步骤305中第一加权系数w1=0.2990,第二加权系数w2=0.5870,第三加权系数w3=0.1140;

步骤五中颜色阈值τD的取值为6~8,梯度阈值τG的取值为1~3,平衡颜色和梯度的因子

0<α<1;

步骤6012中判断阈值τa的取值范围为4.59~7.14;

步骤703中平滑常数ε的取值范围为0.00001~0.0001。

4.按照权利要求1所述的一种局部立体匹配方法,其特征在于:步骤806中采用计算机对视差图进行加权中值滤波处理,得到优化后的视差图,具体过程如下:步骤8061、采用计算机将视差图中第e个局部窗口进行处理,具体过程如下:步骤A、采用计算机获取第e个局部窗口的中心像素点的坐标 并获取左校正图像IL中 像素点的R分量 G分量 和B分量步骤B、采用计算机获取第e个局部窗口中除去中心像素点 后的第p个像素点的坐L标 并获取左校正图像I中 像素点的R分量 G分量 和B分量步骤C、采用计算机根据公式 得到第e个局

部窗口中第p个像素点和中心像素点的色彩差值Δ2Cpc;

采用计算机根据公式 得到第e个局部窗口中第p个像素点和中心像素点的距离值Δ2Spc;

步骤D、采用计算机根据公式 得到第e个局部窗口

中第p个像素点的权值w(p);其中, 表示调节颜色的参数,且 的取值为0.1, 表示调节距离的参数,且 的取值为9;

步骤E、采用计算机根据公式f′(p)=f(p)×w(p),得到第e个局部窗口中第p个像素点的优化后视差值f′(p);其中,f(p)表示视差图第e个局部窗口中第p个像素点的视差值;

步骤F、采用计算机将视差图第e个局部窗口中中心像素点 的视差值以及第e个局部窗口中各个像素点的优化后视差值从小到大进行排序,并获取优化后的视差中值;

步骤G、采用计算机将第e个局部窗口的中心像素点的视差值替换为优化后的视差中值;

步骤H、多次重复步骤步骤A至步骤G,得到优化后的视差图。

5.按照权利要求1所述的一种局部立体匹配方法,其特征在于:步骤303中得到左校正图像中R分量的比例系数 左校正图像中G分量的比例系数 和左校正图像中B分量的比例系数 具体过程如下:步骤3031、计算机从左校正图像的R分量二维矩阵中获取第i个左像素点的R分量并记作 计算机从左校正图像的G分量二维矩阵中获取第i个左像素点的G分量并记作 计算机从左校正图像的B分量二维矩阵中获取第i个左像素点的B分量并记作步骤3032、计算机根据公式 得到左校正图像中R分量的比例系数 计算机根据公式 得到左校正图像中G分量的比例系数 计算机根据公式 得到左校正图像中B分量的比例系数