欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2016109019572
申请人: 浙江工业大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2023-12-11
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于四旋翼无人机的单目视觉三维特征提取方法,其特征在于:所述方法包括以下步骤:

1)获取图像并且对图像进行预处理;

2)提取二维图像特征点并且建立特征描述符;

3)获取机载GPS坐标、高度数据和IMU传感器参数;

4)根据机体参数对二维特征描述符进行坐标系建立,获得三维坐标信息,过程如下:首先,根据相机参数建立内参数矩阵,根据该矩阵将步骤3)中获取到的机载GPS坐标信息转换到像平面坐标系I,根据已知的焦距信息转换到相机坐标系C;其次,根据相机和机体的安装误差角与相对位置进一步转换坐标系到机体坐标系B;最终,根据IMU姿态角度并且融合飞行器GPS坐标信息和高度信息得到世界坐标系E中的带有景深信息的二维特征描述符。

2.如权利要求1所述的一种基于四旋翼无人机的单目视觉三维特征提取方法,其特征在于:所述步骤4)中,根据机体参数获得二维特征的三维坐标信息,包括以下步骤:

4.1)图像坐标系与像平面坐标系的转换

图像坐标系是以左上角为原点的图像像素坐标系[u,v]T,该坐标系没有物理单位,因此引入原点OI在光轴上的像平面坐标系I=[xI,yI]T,像平面是相机根据小孔成像模型构建出来的具有物理意义的平面,假设每一个像素在u轴和v轴方向上的物理尺寸为dx和dy,其含义是感光芯片上像素的实际大小,是连接图像坐标系和真实尺寸坐标系的桥梁,dx和dy与摄像机焦距f有关,则像平面坐标系上的点(x1,y1)与像素坐标系中点(u1,v1)对应关系如下:其中,(u0,v0)为图像坐标系中的中心点,即像平面坐标系的原点所对应的像素点,令包含四个与相机内部结构有关的参数,称为相机的内参矩阵;

4.2)像平面坐标系与相机坐标系的转换

假设相机坐标系中一点PC1=(xC,yC,zC),连接光心在图像坐标系中的投影点为PI1=(xI,yI),则这两点之间的坐标转换关系如下:转换成矩阵形式如下:

其中f为相机焦距;

4.3)相机坐标系与世界坐标系的转换

首先,由于飞行器与相机存在安装误差,这里用[α、β、γ]T表示安装固定的三维误差角,用[xe,ye,ze]T表示摄像机到机身坐标原点的空间距离,则相机坐标系和机体坐标系的关系用 来表示,即C=TB  (4)

其中C表示相机坐标系,B表示机体坐标系;

其次,对于空间中一点PE=(xE,yE,zE),其对应的摄像机坐标系和摄像机的姿态角和所在位置有关,而无人机在飞行过程中,姿态角和位置信息实时获取,四旋翼无人机是一种具有6自由度的系统,其姿态角分为俯仰角 横滚角θ和偏航角 其旋转轴分别定义为X、Y、Z轴,坐标系原点为飞行器的重心,分别得到三轴的旋转矩阵后相乘即得到机体的旋转矩阵:可由四旋翼机身上的IMU传感器测得的x,y,z轴三个加速度分量与陀螺仪分量经四元数解算得到;令 其中(x,y,z)为无人机在空间中的位置信息,z即为无人机飞行高度,无人机位置(x,y,z)可以由GPS和气压计获得,那么PE对应的相机坐标系下的点(xC,yC,zC)可由以下关系式计算出:其中T为相机坐标系和机体坐标系变换矩阵,R为机体旋转矩阵,M为飞行器的世界坐标点,[xE,yE,zE]T即为所求的特征点的三维坐标。

3.如权利要求1或2所述的一种基于四旋翼无人机的单目视觉三维特征提取方法,其特征在于:所述步骤1)中,获取图像并且预处理的步骤如下:

1.1)采集图像

基于四旋翼飞行器平台的Linux开发环境,使用机器人操作系统ROS订阅图像主题的方式获取图像的,相机驱动由ROS和openCV实现;

1.2)图像预处理

采集到的彩色图像首先要进行灰度化,去除无用的图像彩色信息,这里使用的方法是求出每个像素点的R、G、B三个分量的加权平均值即为这个像素点的灰度值,这里不同通道的权值根据运行效率进行优化,避免浮点运算计算公式为:Gray=(R×30+G×59+B×11+50)/100  (7)其中Gray为像素点的灰度值,R、G、B分别为红、绿、蓝色通道的数值。

4.如权利要求1或2所述的一种基于四旋翼无人机的单目视觉三维特征提取方法,其特征在于:所述步骤2)中,提取二维图像特征点并且建立特征描述符的过程为:

2.1)ORB提取特征点

ORB首先利用Harris角点检测方法检测角点,之后利用亮度中心来测量旋转方向;假设一个角点的亮度从其中心偏移而来,则合成周围点的方向强度,计算角点的方向,定义如下强度矩阵:mpq=∑x,yxpyqI(x,y)  (8)

p q

其中x,y为图像块的中心坐标,I(x,y)表示中心的灰度,x ,y代表点到中心的偏移,则角点的方向表示为:从角点中心构建这个向量,则这个图像块的方向角θ可以表示为:θ=tan-1(m01,m10)  (10)

由于ORB提取的关键点具有方向,因此利用ORB提取的特征点具有旋转不变性;

2.2)LDB特征描述符建立

在得到图像的关键点后,利用LDB来建立图像的特征描述符;LDB的处理过程依次是构建高斯金字塔、构建积分图、二进制测试,位选择和串联;

为了让LDB拥有尺度不变性,构建高斯金字塔,并计算特征点在相应金字塔层级上对应的LDB描述符:其中,Img(x,y)为给定图像,G(x,y,σi)为高斯滤波器,σi逐渐增大,用于构建1到L层高斯金字塔Pyri;对于像ORB这样没有显著尺度估计的特征提取,需要对每个特征点都计算金字塔各层的LDB描述;

LDB计算旋转坐标,并使用最邻近插值法,即时生成一个有向图块;

建立好垂直积分图或旋转积分图并提取出光强和梯度信息后,就在成对网格间进行τ二进制检测,检测方法如下式:其中Func(·)用于提取出每个网格的描述信息;

给定一个图像块,LDB先将这个图像块平均分成n×n个等大小的网格单元,提取出每个网格单元的平均光强度和梯度信息,在成对网格单元间分别比较光强度和梯度信息,将结果大于0的相应位置1;在不同的网格单元中平均光强和沿x或y方向的梯度能够有效地区分图像,因此,定义Func(i)如下:Func(i)∈{IIntensity(i),dx(i),dy(i)}  (13)其中 为网格单元i的平均光强,dx(i)=

Gradientx(i),dy(i)=Gradienty(i),m是网格单元i中的总像素数,由于LDB使用的是等大小的网格,m在同一层高斯金字塔上保持一致;Gradientx(i)和Gradienty(i)分别是网格单元i沿x或y方向的梯度;

2.3)特征描述符的匹配

当得到两幅图像的LDB描述符后,对两幅图像的描述符进行匹配;采用K最临近法来对两个描述符进行匹配;对于目标模板图像中的每个特征点,在输入图像中查找该点的最近邻的两个匹配,比较这两个匹配之间的距离,如果模板图像中一点的匹配距离小于0.8倍输入图像的匹配距离,认为模板中的点和输入图像对应的点为有效匹配,记录下相应的坐标值,当两幅图像间的匹配点多于4个,认为在输入图像中找到了目标物体,对应的坐标信息即为二维特征信息。

5.如权利要求1或2所述的一种基于四旋翼无人机的单目视觉三维特征提取方法,其特征在于:所述步骤3)中,获取机载GPS坐标、高度数据和IMU传感器参数的方法为:MAVROS为第三方团队针对MAVLink开发的ROS包,当启动MAVROS并且和飞行器飞控连接后,MAVROS就会开始发布飞行器的传感器参数和飞行数据,这里订阅飞行器的GPS坐标主题、GPS高度主题、IMU姿态角主题的消息,获取到对应的数据。