1.一种基于三目视觉的输电线路交跨距离测量方法,其特征在于:包括以下步骤:
1)利用三目相机拍摄目标输电线路图像,获得三目图像以及相机拍摄时的俯仰角和滚转角;
2)对三目图像进行协同校正;
3)基于相机姿态确定用于电力线匹配的双目图像,定义为 并提取与拟合双目图像 中所有的电力线;根据极线约束重建电力线的三维向量;
4)在校正后的左目图像中的电力线上任意选择一个点作为目标点 根据空间几何关系确定目标点Pk在左目图像中对应的铅垂线;并利用铅垂线轨迹法得到目标点Pk在校正后的左目图像中对应可能的交跨点集合 其中为交跨点集合Kk中第a个交跨点 在校正后的左目图像中的坐标;
5)在右目图像中寻找所述交跨点集合Kk中所有点对应的匹配点,得到匹配点集合并计算交跨点对应的视差
其中
6)根据空间先验知识从交跨点集合Kk中确定电力线上任一点 的真正交跨点,并计算对应的交跨距离;
7)重复步骤4)‑6),得到电力线上所有点的交跨距离;
在步骤3)中,具体包括以下步骤:
31)根据摄像机的拍摄角度确定用于电力线匹配的双目图像,定义为如果滚转角 以上目图像和左目图像作为用于电力线匹配的双目图像,即如果滚转角 以右目图像和左目图像作为用于电力线匹配的双目图像,即 其中I1,I2,I3分别表示左目图像,右目图像和上目图像;
32)基于航拍图像中电力线的特征提取双目图像Matchl中的所有电力线;
33)重复步骤31)提取与拟合双目图像 中的电力线得到L1={l1j},j=1,
2,...,N1,L2={l2s},s=1,2,...,N2,N1,N2分别表示双目图像 的电力线的数目,具有相同的数目j,数目s对应的电力线为同名电力线;基于极线约束,计算同名核线与同名电力线的交点得到电力线上的同名像点对 此时j=s, 分别表示双目图像 中第j条电力线上的某个像素点坐标,同名像点对对应的视差值为
2.根据权利要求1所述的基于三目视觉的输电线路交跨距离测量方法,其特征在于:在步骤2)中,具体步骤包括:
21)根据张氏标定法获得三目相机的标定参数,利用Bouguet算对获得的左目图像与右目图像信息{Ileft,Iright}进行初次水平校正,校正后得到行对准图像{I′left,I′right},且I′left=Ileft,具体步骤如下:a.利用Bouguet算法获得左目相机的整体旋转矩阵Rl、右目相机的整体旋转矩阵Rr;
b.左目图像保持不变,右目图像围绕着右摄像机的光心旋转,旋转矩阵为 旋转后得到行对准图像{I′left,I′right},且I′left=Ileft;
22)重复步骤21)对图像信息{Ileft,Iup}进行校正,得到左目相机的整体旋转矩阵Rl2和上目相机的整体旋转矩阵Ru,将上目图像围绕上目摄像机的光心旋转,旋转矩阵为得到列准图像{I″left,I′up},且I″left=Ileft;
23)初次校正后得到三目图像{Ileft,I′right,I′up},利用SURF算法获取三目图像特征点对初次校正结果进行优化得到三目图像{I1,I2,I3},I1、I2、I3分别指经过校正后的左目图像、右目图像、上目图像,其中校正后左目图像I1、右目图像I2的极线与左目图像I1、右目图像I2横轴平行,校正后的左目图像I1、上目图像I3的极线与左目图像I1,上目图像I3纵轴平行,且左目图像I1、右目图像I2的横向视差与左目图像I1、上目图像I3的纵向视差相等。
3.根据权利要求2所述的基于三目视觉的输电线路交跨距离测量方法,其特征在于:在步骤23)中,具体步骤包括:
a.利用SURF算法获取校正后的三目图像{Ileft,I′right,I′up}特征点坐标匹配点的数目为n, 为左目对准图像
Ileft中特征点坐标集合, 为右目对准图像I′right中特征点坐标集合;
为上目对准图像I′up中特征点坐标集合;
b.设顶摄像机的主点坐标为(cx,cy),平移顶摄像机,在主点坐标(cx,cy)上附加一个偏移量(dx,dy),完成顶摄像机的二次校正;横向偏移 纵向偏移c.以(cx+dx,cy+dy)作为新的主点坐标,重复步骤21)重新对顶摄像机进行校正得到最终的校正后的三目图像{I1,I2,I3}。
4.根据权利要求1所述的基于三目视觉的输电线路交跨距离测量方法,其特征在于:在步骤32)中,当电力线为左目图像 时,提取的具体步骤如下:a.对校正后的左目图像进行预处理并获取边缘图Iedge,边缘图Iedge中背景灰度值为0,输电线的灰度值为255;
b.在边缘图Iedge的基础上,通过矢量跟踪算法,将边缘图Iedge中的边缘片段变换为二维矢量,并删除边缘图Iedge中小于设定数量像素点的边缘片段得到二维矢量集一V1,V1={v1,v2,...,vi,...,vn1},其中n1为二维矢量集V1中二维矢量的个数,vi表示某个第i个二维矢量,vi包括m个灰度值为255的像素点,表示为vi={(x1,y1),(x2,y2),...,(xm,ym)};
c.按照公式(1)计算二维矢量集V1中剩余特征的形状因子SI,删除形状因子SI大于设定值的过弯曲的二维矢量,得到二维矢量集二V2,V2={v′1,v′2,...v′i,...,v′n2},V2∈V1,其中n2为二维矢量集二V2中二维矢量的个数;
其中, 表示该二维矢量中的第
m1个坐标,即 表示该二维矢量中的第m2个坐标,即d.根据线段投影法聚合线特征对二维矢量集二V2进行聚合,如果两条线段共线,则进行连接得到聚合后的图像二维矢量集三V3,V3={v″1,v″2,...,v″i,...,v″N},V3∈V2,其中N表示二维矢量集三V3中二维矢量的个数,也表示检测到的输电线的数量,v′i={(x1,y1),(x2,y2),...,(xt,yt)}表示第i条输电线二维矢量,(xt,yt)为v″i中的第t个像素点的坐标;
e.对二维矢量集三V3中所有的输电线二维矢量vai进行迭代处理得到单像素宽度的输电线二维矢量 所有的输电线二维矢量v″i迭代处理后得到的输电线矢量集合为二维矢量集四V4;
f.假设二维矢量 的拟合方程为 表示拟合参数,r表示拟合多项式的极数,根据最小二乘法对 进行拟合,基于二维矢量 中的像素点的坐标(x1,y1),(x2,y2)...,(xt,yt)确定拟合参数ak(k=0,1,...,r),则左目图像 中,由二维矢量确定的电力线方程表示为 对输电线二维矢量集四V4中的所有二维矢量进行拟合得到左目图像 中的所有电力线方程为 N表示电力线的数量;按照拟合电力线的参数a0的大小从小到大对电力线进行排序,则左目图像 中所有电力线由表示,其中j表示排序的序列号, 表示第j条电力线。
5.根据权利要求3‑4任一项所述的基于三目视觉的输电线路交跨距离测量方法,其特征在于:在步骤4)中,基于空间几何关系确定在不同的相机姿态下校正后的左目图像I1中某条电力线上的一点 的铅垂线方程,并利用铅垂线轨迹法获得点Pk在校正后的左目图像I1中对应的可能交跨点集合 为Kk中第a个交跨点在I1中的坐标, 为可能交跨点集合内某一点的坐标,具体步骤如下:
41)确定不同相机姿态下的铅垂线;
42)根据步骤41)的铅垂线轨迹法获得点Pk对应的可能交跨点集合
6.根据权利要求5所述的基于三目视觉的输电线路交跨距离测量方法,其特征在于:在步骤41)中,
规定世界坐标系为OW‑XWYWZW,左目图像对应的像素坐标系下点 对应的铅垂线的计算步骤为:
a.当俯仰角θx=0,滚转角θz=0时,过点P的铅垂线方程为b.当相机倾斜拍摄时,即俯仰角θx=0,滚转角θz≠0,点P对应的铅垂线方程为c.当相机俯视拍摄时,即俯仰角θx≠0,滚转角θz=0,左目图像的主点坐标为c(u0,v0);
铅垂线方程为 OS姿态下任意一点的铅锤线与图像横轴的夹角为d.MX姿态下,铅垂线与成像平面的横轴的夹角为φ=ψ+θz,当相机的俯仰角θx≠0,滚转角θz≠0时,MX姿态对应的铅垂线方程为:
7.根据权利要求5所述的基于三目视觉的输电线路交跨距离测量方法,其特征在于:在步骤42)中,具体步骤为:
a.利用OSTU算法对校正后的左目图像I1二值化得到天空背景灰度值为0,电力线以及地物目标灰度值为255的二值图像Iostu,二值化后地物目标与背景具有明显的分界线;
b.根据步骤41)确定Pk点对应的铅垂线方程,从Pk点沿铅垂线方程开始往二值图像Iostu的纵轴方向遍历,假设Mi(x,y)为当前像素坐标,当连续5个像素点对应的灰度值为255时,即Mi‑4(x,y)=...=Mi‑1(x,y)=Mi(x,y),判断该点Mi(x,y)为地物目标,记录该像素点Mi(x,y)作为可能的交跨点集合的起始点,即 继续按该方向遍历图像Iostu并记录铅垂线上所有的点直到图像边界得到Pk点对应的交跨点集合所述前像素坐标Mi(x,y)满足公式(5)。
8.根据权利要求5所述的基于三目视觉的输电线路交跨距离测量方法,其特征在于:在步骤5)中,基于AD‑Census分别为交跨点集合Kk中所有点构造匹配代价函数C(p,d),并构建十字交叉自适应窗口进行代价聚合得到在右目图像中对应的匹配点集合Qk,匹配代价函数C(p,d)为:
其中,函数ρ(C,λ)用于控制每个变换结果,取值范围为[0,1];
λCensus、λAD分别为Census、AD变换的影响参数;CCensus(p,d)为Census匹配代价函数;CAD(p,d)为AD匹配代价函数;C(p,d)为AD‑Census的匹配代价函数;C、λ分别表示任意匹配方式的代价函数和相应的影响参数。
9.根据权利要求6所述的基于三目视觉的输电线路交跨距离测量方法,其特征在于:在步骤6)中,具体步骤如下:
61)左目相机坐标系为Ol‑XCYCZC,右目相机坐标系为Or‑XCYCZC,左目图像的主点坐标为c(u0,v0),Kb为Pk点的待确定交跨点,点Pk与点Kb的左目相机下的相机坐标分别为像素坐标为 Pk点的视差由步骤3)计算得到,设为dp;点Kb的视差由步骤5)计算得到,设为dkb;根据三角视差原理得到Pk点的相机坐标与像素坐标 的转换关系为:
同理,点Kb的相机坐标 与像素坐标 的转换关系为:
62)根据公式(7)‑(8),得到在相机坐标系Ol‑XCYCZC下点Pk与点Kb的坐标差值如公式(9)所示:
在BPS中,由于OW‑XWYWZW与Ol‑XCYCZC重合,所以 因此当时,点Kb为Pk点的交跨点,此时交跨距离D为
63)在BTS姿态下,Ol‑XCYCZC以ZC为旋转轴,旋转θz得到新的相机坐标系Ol‑X′CY′CZ′C,此时旋转矩阵为R(Z,θz),又由于OW‑XWYWZW与Ol‑XCYCZC重合,则OW‑XWYWZW与Ol‑X′CY′CZ′C的坐标转换关系如公式(11)所示:
在相机坐标系Ol‑X′CY′CZ′C下点Pk与点Kb的相机坐标由公式(7)‑(8)计算得到,则在世界坐标系OW‑XWYWZW下点Pk与点Kb对应的世界坐标系中的坐标差值如公式(12)所示:当 时,点Kb为点Pk的交跨点,此时交跨距离D为:
64)在OS姿态下,Ol‑XCYCZC以XC为旋转轴,旋转θx得到坐标系OC‑X″CY″CZ″C,此时旋转矩阵为R(X,θx),又由于OW‑XWYWZW与Ol‑XCYCZC重合,则OW‑XWYWZW与OC‑X″CY″CZ″C的坐标转换关系如公式(14)所示:
与BTS相同,在相机坐标系OC‑X″CY″CZ″C下点Pk与点Kb的相机坐标由公式(7)‑(8)计算得到,则在世界坐标系OW‑XWYWZW下点Pk与点Kb对应的世界坐标系中的坐标差值如公式(15)所示:
当 时,点Kb为点Pk的交跨点,此时交跨距离D为:
65)MX姿态是BTS与OS的混合姿态,相机坐标系为OC‑X″′CY″′CZ″′C此时旋转矩阵为R=R(Z,θz)·R(X,θx),因此在MX姿态下的坐标转换关系为:在相机坐标系OC‑X″′CY″′CZ″′C下点P与点K的相机坐标可由公式(7)‑(8)计算得到,则在世界坐标系OW‑XWYWZW下点P与点K的坐标差值如公式(18)所示:当 时,点Pk与点Kb的交跨点,此时交跨距离D为: