1.一种基于语义和几何约束的动态场景视觉SLAM优化方法,其特征在于,包括以下步骤:步骤1:通过RGB相机获取图像帧的RGB图像与深度图像;
步骤2:步骤1所得的RGB图像分别输入到语义分割模块和HF-Net特征提取模块;
步骤3:步骤1所得的RGB图像通过语义分割网络YOLACT++进行语义分割,获得特征点的语义信息;
步骤4:步骤1所得的RGB图像转换为灰度图像,构建图像金字塔,HF-Net在每一层提取局部特征并生成HFNet描述子;
步骤5:利用Lucas-Kanade光流跟踪特征点,并进行运动一致性检查,对特征点运动状态作一个初始评估;
步骤6:结合物体的语义信息和运动一致性检测的初始评估结果,来精确去除动态特征点;
步骤7:通过几何一致性约束和光流矢量估计帧间旋转角度,决定是否使用HFNet的描述子或者重新计算ORB描述子;
步骤8:计算新关键帧与存储在关键帧库中的关键帧之间的欧氏距离,
选择欧氏距离最小的关键帧作为候选关键帧;
步骤9:将剔除动态点的图像帧进行后续的局部建图与回环检测。
2.根据权利要求1所述的一种基于语义和几何约束的动态场景视觉SLAM优化方法,其特征在于,语义分割网络采用YOLACT++,YOLACT++是在YOLACT框架的基础上加入了可变形卷积,采用更合理的比例,分配策略和anchor,使得每个anchor能更好地分配到正确的目标上,并且anchor的使用更密集,这可以提高对小目标物体的检测和分割能力,在减少了FC层的基础上引入了压缩-激励机制(Squeeze-and-Excitation,SE),在保证检测精度的同时,提高了计算精度,通过YOLACT++语义分割网络对输入图像进行语义分割,获得物体语义信息。
3.根据权利要求1所述的一种基于语义和几何约束的动态场景视觉SLAM优化方法,其特征在于,利用Lucas-Kanade光流跟踪特征点,并进行运动一致性检查,对特征点运动状态作一个初始评估,具体步骤为:首先,采用LK光流法对HFNet提取的前一帧的特征点进行跟踪,根据当前帧的结果得到光流向量,在前一帧和当前帧中成功跟踪的点标记为P1和P2,它们记为P1=[u1 v1 1]P2=[u2 v2 1],式中,u和v表示像素坐标,应用RANSAC算法滤除异常光流值,计算极线L1:式中,L1代表像素点P1在上一帧图像中对应的极线,代表以向量形式表示的极线的三个分量,F为上一帧和当前帧之间的基础矩阵,P1代表当前帧图像中成功追踪的点在上一帧图像中对应的匹配点,代表成功追踪的点在上一帧图像中的齐次坐标;计算当前帧中像素点与其对应的极线之间的距离D:式中,D代表P2到其对应极限的距离,P2代表当前帧图像中在上一帧图像中匹配的点,P1代表在上一帧图像中对应的匹配点,F为上一帧和当前帧之间的基础矩阵,X代表极线向量的第一维参数,Y代表极线向量的第二维参数,如果D值过大,则认为是潜在的动态点。
4.根据权利要求1所述的一种基于语义和几何约束的动态场景视觉SLAM优化方法,其特征在于,利用光流法和运动一致性检测对当前帧的动态特征点和静态特征点作初步的筛选后,SLAM系统将目标检测框划分为9个区域,整体的目标检测框称为母检测框,划分的9个区域称为子检测框,结合语义信息,基于动态特征点和静态特征点的比例是否大于阈值δ1,初始阈值设为0.5,评估每个框并将其分类为动态子检测框或静态子检测框,如果系统识别为动态子检测框,为了确保掩码中没有遗漏潜在的动态区域,要将相邻的子检测框调整为动态状态,如果目标检测的目检测框的大部分都是动态子检测框,则认为该目标检测框内的物体是高动态物体,则要全部剔除。
5.根据权利要求1所述的一种基于语义和几何约束的动态场景视觉SLAM优化方法,其特征在于,通过帧间旋转估计方法估计帧间旋转角度,决定是否使用HFNet的局部描述符或者重新计算ORB描述符;具体步骤为:用步骤5得到的光流矢量采用最小二乘法对帧间旋转估计进行优化,首先,计算每个光流矢量的垂直平分线ax+by+c=0
式中,a,b,c表示该线对应的系数,x和y表示光流矢量直线上对应的点,包括光流矢量的两个端点;
选取图像中心作为优化的起点,构建并求解优化函数f(x,y),
为了节省迭代的时间,采用BFGS优化,目标函数的梯度按如下计算:
式中,表示f(x,y)在x方向上的偏导,表示f(x,y)在y方向上的偏导,
每次更新都能得到最优点P,P的每次更新都在指定的方向上进行,使得f(x,y)能够快速收敛,更新后的f(x,y)如下所示:f(xk+αkpk,x,yk+αkpk,y).
式中,pk,x和pk,y代表迭代方向,由下式确定:
Hessian矩阵反映了目标函数在最近迭代点附近的局部曲率信息,提供了更准确的下降方向,的公式由下式计算:式中,sk代表变化向量,yk代表梯度变化向量,ρk代表更新幅度;
sk=(xk+1-xk,yk+1-yk)
经过迭代优化f(xk,yk)得到最优点P作为帧旋转中心,如果两帧之间的运动相对接近于一帧旋转,那么P点到所有光流向量端点的距离应该是相同的;光流向量的一个端点P1到P的距离和光流向量的一个端点P2到OP的距离会有一定的距离差D,如果距离差D太大,这个矢量就会被过滤掉;
||(P-P1)||2-||(P-P2)||2≤D
式中,P代表帧旋转中心,P1和P2代表光流矢量的两个端点;因此可以过滤一些光流向量,如果丢弃的矢量太多,则意味着两帧之间的运动没有明显的帧旋转,然后使用剩余的矢量从两端到帧旋转中心的角度来估计当前帧与前一帧之间的旋转运动;
式中P1i和P2i分别代表每个光流矢量的两个端点;阈值角度设置为20度,如果角度大于阈值角度,系统认为由于潜在的帧旋转,不应该使用HFNet生成的描述符,相反,它重新计算当前帧和前一帧之间的特征点的ORB描述符,并采用与ORB-SLAM3相同的方法进行后续匹配,相反,如果角度较小,则使用HFNet中的描述符。
6.根据权利要求1所述的一种基于语义和几何约束的动态场景视觉SLAM优化方法,其特征在于,当使用HFNet中的描述符时,仍然使用BOW加速匹配,但距离计算由汉明距离变为欧氏范数,如下所示:Gdist=||gdes1-gdes2||2
式中,gdes1和gdes2代表被匹配的描述符;因此,当系统估计场景发生了旋转时,根据估计的角度为之前提取的关键帧上的特征点选择HFNet描述子,或者重新提取ORB描述子,并根据是否检测到旋转选择匹配计算方法;这有效地结合了传统特征提取方法的旋转鲁棒性和深度学习的精度优势,使基于深度学习的系统能够在明显的帧旋转可能导致匹配性能下降和跟踪损失的情况下正常运行。
7.根据权利要求1所述的一种基于语义和几何约束的动态场景视觉SLAM优化方法,其特征在于,用HFNet生成的全局描述子代替原来的BOW方法,ORB-SLAM3利用词袋(BOW)方法进行闭环检测,然而,基于BOW的方法对场景的描述能力有限,并且容易丢失关于被描绘对象的空间信息,当局部建图线程接收到一个新的关键帧时,计算它的全局描述子向量,表示为gobaldes,并将当前关键帧的全局描子符保存到关键帧库中,然后计算当前关键帧和库中其他关键帧的全局描述子向量之间的欧氏范数(2-范数):Gdist=||gdes1-gdes2||2
式中,gdes1和gdes2代表HFNet提取的全局描述符,每个描述符由4096个浮点数组成,在获得关键帧的全局描述符后,计算与所有存储在关键帧库中的全局描述子的距离;Gdist越小,表示两帧之间的相似性越高,从而增加了闭环检测的可能性,系统根据关键帧库中所有描述符的相似度,选择相似度最高的帧作为候选帧。