欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2024106188130
申请人: 湖南大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于深度学习点线特征的单目视觉惯性位姿估计方法,其特征在于,包括:步骤1:参数标定以及IMU数据预积分;

参数标定包括相机内参,IMU内参以及相机与IMU的外参标定,利用标定得到相机和IMU的工作频率,相机图像分辨率,以及相机到IMU的旋转矩阵,再获取IMU预积分数据;

步骤2:将每帧二维图像输入到LPSD网络提取每帧二维图像的特征点和对应的局部描述符,同时将相邻两帧二维图像输入到深度学习DG-Line网络中,获取特征线与特征线匹配对;

步骤3:采用最邻近检索对特征点的局部描述符进行匹配,实现对上一帧二维图像和当前帧二维图像中的特征点进行匹配,获取上一帧二维图像和当前帧二维图像中的特征点匹配对,利用IMU数据预积分得到的上一帧二维图像的速度和角速度,预测得到当前帧二维图像的初始位姿;

步骤4:基于所有的特征点匹配对以及特征线匹配对,获得特征点和特征线的重投影误差,通过最小化特征点和特征线的重投影误差,并结合IMU预积分误差进行束调整优化,再利用获得的初始位姿来确定每帧图像平滑后的位姿估计;

基于所有的特征点匹配对以及特征线匹配对,最小化特征点和特征线的重投影误差,结合IMU预积分误差进行BA优化,再利用获得的初始位姿来确定每帧图像平滑后的位姿估计的具体过程如下:步骤C1:按照步骤1到步骤4获取最新的K帧关键帧以及每一帧对应的初始位姿;假设一个三维点P,其对应的二维坐标为[u, v],三维坐标为[X, Y, Z];

步骤C2:构建当前帧特征点的视觉重投影误差,是三维点P在第i个相机帧坐标系中的坐标,其在j帧中的二维坐标为,代表相机模型的投影函数;分别表示的是从IMU坐标系到第j帧相机坐标系的变换矩阵以及第i帧相机坐标系到IMU坐标系的变换矩阵;

步骤C3:对于空间线,使用普吕克坐标来表示,其中d是线的方向向量,n为线与空间原点形成的平面的法向量;

首先将其在世界坐标系中的正交表示转换到相机帧ci坐标系中,将其投影到图像平面以获得重投影误差,表示为:;

其中,d代表直线的端点 到投影线的距离;

步骤C4:计算重投影误差的雅克比矩阵,即

;

;

以及其信息矩阵;

步骤C5:构建整体要优化的误差,即:

;

其中,rp代表先验残差,rb代表IMU预积分误差;

步骤C6:使用列文-伯格方法进行优化,即使用,求解出更新矩阵,用于每次迭代中更新当前帧位姿;

步骤C7:若,则停止迭代,且输出本次结果,转到步骤C8,否则令,转到步骤C4继续计算;

步骤C8:更新当前帧位姿T = T+,若达到终止条件,则输出位姿,否则跳到步骤C4。

2.根据权利要求1所述的方法,其特征在于,确定关键帧,当关键帧的数量达到设定阈值后,利用关键帧上的特征点、特征线的共视关系,对所有关键帧的位姿进行局部BA优化,得到所有关键帧优化后的位姿;

所述关键帧的确定过程为:遍历所有图像,按照步骤2和步骤3进行处理,依据当前帧图像与前一帧图像之间的距离是否超过设定阈值或当前帧图像上特征点/线数量是否超过设定阈值,判断当前帧图像是否为关键帧图像。

3.根据权利要求1所述的方法,其特征在于,所述获取IMU预积分数据的获取过程是指:利用标定后的相机分别在前一帧t时刻和当前帧t+1时刻获取相邻帧场景的二维图像和,以及相邻帧图像之间的IMU测量值,包括加速度、角速度以及IMU的偏移bias;

IMU数据预积分如下:

;

;

;

其中,分别表示的是两帧图像和之间的相对运动的位移,加速度,角速度;分别表示t时刻IMU中加速度计和角速度计的偏差;和分别表示t时刻IMU加速度和角速度的原始测量值,是t时刻的的旋转矩阵,是t时刻的四元数,是角速度向量构建的矩阵。

4.根据权利要求1所述的方法,其特征在于,所述LPSD网络包括初始编码层,特征点编码层和局部描述符解码层,初始编码层的输出端与特征点编码层、局部描述符解码层的输入端均相连;

输入图像经过编码层得到高维特征图,高维特征图经过特征点编码层、描述符编码层后,特征点编码层、描述符编码层分别输出特征点与特征点对应的高维描述符;

所述初始编码层包括依次连接的一层卷积层和6层Ghost bottleneck;原始图像,经过一层卷积层进行卷积操作之后,再依次输入6层Ghost bottleneck后得到特征图;

所述特征点编码层包括两个顺序连接的卷积层、一个张量计算模块、一个softmax分类模块以及维度变换模块;经过初始编码层后的特征图依次经过两个卷积层进行卷积操作,对卷积后的特征图计算张量作为新的特征图,接着对新的特征图进行softmax计算,将每个像素点在特征图的取值转化在0-1之间,对通过softmax计算后的特征图进行维度变换,得到与输入图像维度相同的特征图,特征图中取值超过设定的特征点设定阈值的点作为特征点;

所述局部描述符解码层包括顺序连接的两个卷积层,L2范数归一化模块以及上采样模块;经过初始编码层编码后的特征图依次经过两个卷积层进行卷积操作后,再使用L2范数进行归一化处理,接着对归一化处理后的特征图进行3次插值上采样得到特征图对应的局部描述符;

其中,LPSD网络的输入和输出通道的宽度乘数设置为1.2,卷积层中包含有两个大小为3×3的卷积核,步长为2的卷积块,6层Ghost bottleneck的扩张尺寸依次为{16,48,72,72,120,240},输出大小依次为{16,24,24,40,40,80},扩展率依次为{0,0,0,0.25,0.25,0},步长依次为{1,2,1,2,1,1};

所述LPSD网络在训练时,将已知特征点位置的图像作为输入数据,输出数据为特征点以及对应的局部描述符,其中,特征点对应的局部描述符是通过计算特征点的邻域点灰度信息获得;损失函数为构建的图像描述符三重态损失函数。

5.根据权利要求4所述的方法,其特征在于,所述图像描述符三重态损失函数如下:;

其中,表示图像描述符三重态损失函数,表示边界裕度,根据经验调整,表示正匹配损失函数,表示负匹配损失函数,max()选取最大值函数,表示原始图像I中的一个特征点的坐标;N表示训练时训练数据中特征点的数量;

;

;

;

;

其中,和均为原始图像I的单应性图像Iw上的特征点,与为匹配点,与为非匹配点;和分别表示原始图像I和对应单应性图像Iw输入到LPSD网络得到特征点的局部描述符,和分别表示原始图像I和对应单应性图像Iw的特征点真实标签描述符;函数为依据特征的标签在局部描述符中选择对应的描述符函数,即当该特征点坐标的标签为真实标签,;如果该标签不为真实标签,则。

6.根据权利要求4所述的方法,其特征在于,采用动态调整阈值的策略来控制特征点的数量,即当特征点的数量,降低特征点编码层中softmax的二分阈值,直到特征点数量。

7.根据权利要求4所述的方法,其特征在于,使用具有基本矩阵模型的RANSAC拒绝所有特征点中存在的噪声点。

8.根据权利要求1所述的方法,其特征在于,所述将相邻两帧二维图像输入到深度学习DG-Line网络中,获取特征线、特征线匹配对的过程如下:步骤B1:利用LSD算法对输入图像提取特征线,若特征线的数量时,降低LSD算法中的检测阈值;

步骤B2:将检测出的特征线按照线段长度均匀划分,将划分点用点标记,将点标记的坐标位置以及所在线段编码为矢量表示;

步骤B3:将得到的点标记编码输入到transformer模块,输出得到点标记的描述符;

步骤B4:将点标记描述符输入到线签名网络,利用线签名网络获得的添加了与邻域中其他点的相对位置信息到点标记描述符中,得到点标记增强描述符,同一线段上的点标记增强描述符共同作为线特征的描述符;

步骤B5:使用最近邻对特征线描述符,对两帧之间的特征线的描述符进行匹配,获得两帧中同一线段的对应关系;

步骤B6:对线匹配对进行筛选,计算角度和长度是否在适当范围内,若满足以下两个公式,则表示当前两条线段匹配,对线匹配对进行筛选:;

;

,;

,;

其中,L1,L2代表两条线线1和线2的长度,分别表示两条线线1和线2的角度,,代表线1的起点和终点坐标,,代表线2的起点和终点。

9.根据权利要求8所述的方法,其特征在于,深度学习DG-Line网络训练过程中使用的损失函数如下:;

其中,表示匹配上的线特征的描述符之间的距离,表示未匹配上的线特征的描述符之间的距离,n代表匹配的数量,边缘值表示增加不匹配的线特征的描述符距离的能力,并根据经验将其设置为1。