欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2023112331682
申请人: 安徽大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种融合深度神经网络去除纯动态特征点的SLAM方法,至少包括以下步骤:步骤一:使用RGB-D相机进行RGB图像和深度图像的采集并输入到系统中,之后使用YOLOv8对每个输入图像进行处理,输出每个包围盒的坐标和类别信息,并通过ROS2发布到SLAM中,SLAM根据物体的潜在运动状态将YOLOv8检测到的所有物体类型分类两类:(1)静态对象和(2)动态对象,之后根据包围盒的坐标和类别信息对特征点进行分类以便进行下一步操作;

步骤二:使用RGB-D相机采集到的深度图像,结合相机标定参数通过三角测量原理计算出每个像素点对应的三维空间坐标,其中,三角测量利用了相机到物体的距离、相机内参和像素坐标之间的关系来计算;

步骤三:采用两种不同的策略来对高动态特征点进行剔除:(1)当正确的点匹配数量不超过8时,保留位于动态包围盒中而不在静态包围盒中的特征点进行进一步的测试;(2)当正确点匹配个数大于8时,直接剔除位于动态包围盒中的特征点;而且,过于靠近图像边缘和边界框的特征点也被丢弃;之后将剩余的静态特征点通过聚合GMA的RAFT方法进行帧匹配,进而结合OpenCV函数进行自我运动估算以恢复初始的相机姿态;

步骤四:通过初始相机姿态将上一帧的三维特征点重投影到当前帧并计算重投影偏移向量,其中,重投影偏移向量用于描述空间点的位移;

步骤五:将当前帧的3D特征点通过SOM-K-means算法分成k个簇;

步骤六:对于每个聚类通过计算并确定每个簇的类型,根据判定结果将动态簇中的所有特征点进行去除;

步骤七:将剩余静态特征点嵌入到SLAM系统中进行跟踪和建图。

2.根据权利要求1所述的一种融合深度神经网络去除纯动态特征点的SLAM方法,其特征在于:在步骤一中:利用YOLOv8对RGB-D相机采集的每个图像进行处理,对图像中的对象识别并生成包围盒及其位置和分类信息,以便传入SLAM系统中对识别对象进行二分类和动静态特征点的提取。

3.根据权利要求1所述的一种融合深度神经网络去除纯动态特征点的SLAM方法,其特征在于:在步骤二中:使用RGB-D相机采集到的深度图像结合语义信息通过相机的内参和深度图像中每个像素对应的深度值来计算该像素在三维空间中的坐标,内参包括焦距、主点,具体原理如下:;

;

其中,()为相机焦距,()为相机主点,其描述了相机的视野范围、像素大小信息,(u,v)表示像素点的坐标,(x,y,z)表示三维坐标,深度图像是一个二维图像,每个像素点的灰度值代表了该点的深度信息,通过读取深度图像中每个像素的深度值,可以得知该像素到相机的距离。

4.根据权利要求1所述的一种融合深度神经网络去除纯动态特征点的SLAM方法,其特征在于:在步骤三中:由于现有的所有利用目标检测的动态SLAM系统都是直接去除动态包围盒中的所有特征点,实际上,边界框占据了RGB图像中比物体更多的区域,特别地,当动态包围盒占据图像区域较大比例时,如果直接将所有位于动态包围盒中的特征点剔除,剩余的静态特征点可能无法生成满意的点匹配,为了提高SLAM的鲁棒性和速度,使用两种不同策略来防止极端情况发生:(1)当正确的点匹配数量不超过8时,保留位于动态包围盒中而不在静态包围盒中的特征点进行进一步的测试;(2)当正确点匹配个数大于8时,直接剔除位于动态包围盒中的特征点,而且,过于靠近图像边缘和边界框的特征点也被丢弃,然后利用当前帧中的剩余特征点,采用聚合GMA的RAFT方法与上一帧进行匹配,通过聚合GMA的RAFT方法和语义先验信息识别出静态区域中的潜在静态匹配点集,对于全局聚合模块GMA,查询和关键特征是上下文特征图的投影,用于建模第1帧中的外观自相似性,值特征是对运动特征的投影,而运动特征本身是对四维相关体积的编码,利用从查询和关键特征中计算出的注意矩阵来聚合作为运动的隐藏表示的值特征,以下方程为全局聚合特征的计算:;

其中,就是RAFT出来的运动特征,是可学习参数,,,分别是对查询,键,值的编码函数,F是相似性计算函数,如下述公式所示:;

;

;

;

以上的全局聚合特征的计算加上位置编码的信息后如下述公式所示:;

其中,表示位置编码,和分别表示上一帧和当前帧的潜在静态匹配点集,然后利用极线约束和RANSAC筛选出匹配最准确的静态特征点对,极线约束模型可用下述方程表示:;

其中,F是基础矩阵,和是和中潜在的静态特征点,

对于当前帧中的每个,计算与对应极线之间的距离,距离可由下述方程计算:;

其中设定了一个阈值为0.1,如果D大于阈值,相应的特征点对被去除,E为本质矩阵,可有下述方程计算:;

式中:K为相机内蕴矩阵,将左边的特征点对和E送入OpenCV函数。

5.根据权利要求1所述的一种融合深度神经网络去除纯动态特征点的SLAM方法,其特征在于:在步骤四中:假设为静态点,为动态点,{}表示t时刻图像坐标系中的特征点,{}表示t-1时刻对应的匹配特征点,然后在t-1时刻获取上一帧图像和重投影{}到相机坐标系{}的深度信息,类似的,能够得到t时刻相机坐标系中的{},因此,将有两个偏移向量:, ,l表示偏移向量的模,可有下述方程计算:;

其中,表示偏移向量的角度,可由下述方程计算:

;

在理想情况下,和应该重叠,因为是静态点,{}是对应的特征对,然而,由于随机误差的存在,存在一个偏移向量,基于它们在空间坐标中的真实运动,提出了一种简单易懂的方法来区分动态点和静态点,如下述公式所示:;

;

;

其中,表示反投影的函数,它依赖于相机类型,但此时在t-1时刻处于摄像机坐标系中,将投影到在时刻t由初始相机位姿T(R,t)由方程得到,偏移向量可由计算得到,当产生随机误差时,如果深度d很大,这个偏移向量的模也很大,相反,这个偏移向量的角度较小,对于偏移向量的描述使用一种加权平均法进行:在当前帧中,动态包围盒外的特征点集合为 动态包围盒中的特征点集合为,利用上述方程,得到了相应的偏移向量,然后利用下述方程计算:;

其中,以弧度的形式表示,它乘以0.7在数值上类似于,由于不正确的匹配或深度信息,可能存在少量的异常值,去除这些离群点,并计算剩余特征点的的平均值,记为φ:;

式中:为剩余内点个数。

6.根据权利要求1所述的一种融合深度神经网络去除纯动态特征点的SLAM方法,其特征在于:在步骤五中:利用SOM-K-means聚类算法即SOM的优化算法,既解决了SOM神经网络收敛效率低、分类结果不准确的问题,又克服了K-means聚类中心和K值的预设问题,该算法的具体步骤如下:首先将动态边界框上的特征点输入到SOM神经网络中进行聚类,输出分类数目以及初步分类结果,将得到的初期分类结果作为k值,之后随机设置k个3D点(j=1,2,3,…,k)作为这些3D特征点的中心并计算与的距离,公式如下所示:;

其中,是需要分类的3D特征点,的个数为n,的个数为k,

对于每个找到距离它最近的3D点作为它的中心,因此,每个3D特征点将属于一个簇的中心,然后更新每个簇的新中心,并不断迭代,直到每个3D特征点的簇不变,这个过程可以概括为K-means算法的目的为最小化损失函数J:;

其中,是二元变量,,1表示三维特征点属于第j簇,0表示不属于第j簇。

7.根据权利要求1所述的一种融合深度神经网络去除纯动态特征点的SLAM方法,其特征在于:在步骤六中:在,对应的三维特征点集为,通过K-means方法将分成k个簇,相应地,也被划分为k个簇,对于每个聚类,计算Th的均值,然后用于确定每个簇的类型,K簇中Th的平均值记为:;

式中:w为第k个聚类中的特征点个数;

对于每个团簇,计算了并与进行了比较,为中Th的平均值,第k个聚类的类型可由下式定义:;

如果类型被判定为动态,则该簇中的所有特征点被判定为纯动态;否则,集群是静态的,之后将判定为动态的特征点进行剔除。

8.根据权利要求1所述的一种融合深度神经网络去除纯动态特征点的SLAM方法,其特征在于:在步骤七中:将剩余的静态点嵌入到SLAM系统中进行跟踪和建图,经过前述步骤可最大程度的保留静态特征点以提高建图的精度。