1.基于YOLOv8模型动态环境下视觉SLAM方法,其特征在于:包括以下步骤:
包括以下步骤:
步骤一、RGB-D相机获取环境信息:
RGB摄像头和深度摄像头分别获取RGB图像和3D点云图像;图像处理模块处理3D点云图像将其和RGB图像进行坐标匹配,得到RGB-D图像;
步骤二、训练模型和部署系统:
将收集到的RGB图像转换为yolo格式数据集,以此训练YOLOv8模型;
对于训练好的分割模型,将其部署在机器人的搭载的微型电脑上,在系统中搭建SLAM算法环境,在系统中实现;
步骤三、分割图像获取以及低成本追踪:对于搭建好的SLAM系统,使用分割模型将输入的图像中的先验动态物体分割,得到mask图像,再通过低成本追踪模块进行低成本追踪:对于所述的mask图像接下有两种方式并行处理:
第一种方式即将mask图像直接作为分割图像输入到ORB-SLAM的追踪与建图模块;
第二种方式即将 mask 图像首先输入至低成本追踪模块,该模块通过搜索图像帧静态区域特征点与局部地图特征点的对应关系,找到能最大限度地减小投影误差的特征匹配,从而实时地确定机器人的位姿;随后,该 mask 图像会被送入一个多视图几何模块,该模块会将当前图像与若干张与之重叠度最高的历史图像进行对比分析和运算,从而分割当前图像中的动态物体;最终,经过处理的图像会被输入到方法一所述的ORB-SLAM模块中;
步骤四、ORB-SLAM模块:上述两种方式的结果融合为最终的分割图像,添加进ORB-SLAM模块的输入图像序列,由该模块处理:ORB-SLAM模块中的追踪线程部分负责处理输入的图像序列,提取ORB特征,跟踪相机的运动,并估计当前帧的位姿;
随后,在机器人运动过程中如果检测到闭环,会计算闭环关键帧与其参考的对应场景之间的匹配关系,并进行相似变换和全局BA优化,从而消除误差累积,提高地图的精度和一致性;
同时,当新的关键帧插入到局部地图中时,会对局部地图中的关键帧以及关键帧之间的连接关系进行更新,也会对当前局部地图中关键帧的位姿和地图点进行BA优化,最后对冗余的关键帧及其对应的地图点进行删除,以此来建立地图;
最终将建立的地图、机器人的运动轨迹、机器人的运动方向以及机器人的当前位置发布为ROS系统的话题,在ROS系统中通过rviz界面来显示。
2.根据权利要求1所述的基于YOLOv8模型动态环境下视觉SLAM方法,其特征在于:所述步骤三mask图像处理方式第二种方式中多视图几何模块,该模块会提前提取当前图像中的ORB特征点,然后选择若干张与当前图像重合度最高的历史图像,,其中是图像的序号,这里经过实验后选取5张历史关键帧作为历史图像,然后,计算每个关键点从历史图像到当前图像的投影关键点,以及投影深度,同时生成对应的三维空间关键点,计算关键点,与三维点形成的夹角, 记为,若大于30度则认为该点是动态的。
3.根据权利要求1所述的基于YOLOv8模型动态环境下视觉SLAM方法,其特征在于:所述步骤三mask图像处理方式第二种方式中多视图几何模块利用深度信息,使用第一种方式共同判断动态点:关键点对应的深度为,将其与投影深度作对比,若超过阈值,则为动态点,公式为:,其中经过实验设置为0.4m,通过上述两种方式进一步标注出动态点。
4.根据权利要求1所述的基于YOLOv8模型动态环境下视觉SLAM方法,其特征在于:所述步骤四ORB-SLAM模块通过提取图像中的ORB特征点,利用跟踪线程来确定机器人的轨迹与位姿,接着,局部建图线程负责重建地图,该线程通过3D-2D位姿估计方法确定当前帧与历史帧之间的位姿关系后,将当前帧投影至三维点云坐标系中,完成局部地图的构建,随后,回环检测模块被引入以校正估计误差,进而对全局地图进行修正与优化。
5.根据权利要求1所述的基于YOLOv8模型动态环境下视觉SLAM方法,其特征在于:所述步骤四ORB-SLAM模块中的追踪线程部分的追踪方法包括参考关键帧跟踪、恒速模型跟踪、重定位跟踪和局部地图跟踪。