1.基于伪语义分割的动态环境视觉导航定位方法,其特征在于,包括如下步骤:针对获取的待处理视觉图像,基于当前帧图像的特征点分布及当前帧与前一帧图像之间特征点的匹配数量,确定特征提取的自适应阈值,提取当前帧图像的特征点;基于当前帧的特征点分布及当前帧与相邻上一帧图像之间特征点的匹配数量,确定特征提取的自适应阈值的方法,包括如下步骤:基于当前帧图像的特征点分布,假设特征点置信度分布符合高斯分布,计算期望和方差,进而计算特征点提取数量下限作为基础置信度阈值;
基于当前帧与前一帧图像之间的特征点匹配数量,采用Sigmoid函数将匹配数量映射为阈值增量项,并与基础置信度阈值相加,生成特征提取的自适应阈值;
针对获取的视觉图像,通过深度学习模型检测动态目标,并提取动态目标的候选框内的特征点的深度信息,采用高斯混合模型深度聚类划定动态区域,生成动态物体的分割掩码,包括如下步骤:以候选框内的深度值为样本,采用高斯混合模型对样本分布进行建模;
采用期望最大化算法来估计高斯混合模型的模型参数;
基于估计参数后的高斯混合模型,计算候选框内每个深度值属于各高斯成分的后验概率,将深度分布偏离背景分布的像素划定为动态物体区域,生成动态物体的初步分割掩码;
针对初步分割掩码的边界,基于边界内外点的深度值差值对初步分割掩码进行评估,当不满足要求,重新生成分割掩码,直到生成的动态物体的分割掩码满足要求;
对于同一帧图像中多个候选框,合并各自生成的掩码,形成完整的动态物体的分割掩码,并采用形态学腐蚀操作优化掩码边界,得到最终的动态物体的分割掩码;
针对当前帧图像,提取在分割掩码外的特征点,基于特征点动态概率计算每个提取的特征点的权重;
将特征点的权重引入非线性优化目标函数,针对分割掩码外的特征点进行帧间跟踪以估计相机位姿,基于相机位姿与分割掩码外的特征点,在非线性优化目标函数下构建SLAM地图。
2.如权利要求1所述的基于伪语义分割的动态环境视觉导航定位方法,其特征在于,基于得到的自适应阈值,提取当前帧图像的特征点及其描述符,包括如下步骤:对获取的视觉图像进行图像特征抽取,生成统一的中间表示张量;
针对中间表示张量,提取置信度图,经过变形操作得到二维特征点置信度张量;
根据得到的自适应阈值,对置信度张量进行筛选,确定高于自适应阈值的置信度区域作为有效特征点位置,筛选后得到特征点;
针对中间表示张量,通过多层卷积和归一化操作,得到与图像空间位置对应的描述符张量;根据筛选出的特征点的位置,对描述符张量进行后处理的索引操作,提取对应位置的特征向量作为特征点的描述符。
3.如权利要求1所述的基于伪语义分割的动态环境视觉导航定位方法,其特征在于,对初步分割掩码进行评估的方法,包括如下步骤:针对得到的初步分割掩码,提取初步分割掩码的边界;
遍历边界的像素点,提取初步分割掩码的边界内和边界外的点对;
筛选出有效的点对,计算筛选后点对的深度值的绝对差;
计算所有绝对差的中位数;
设定深度差阈值,将得到的绝对差的中位数与深度差阈值比较,当不小于设定的深度差阈值判定初步分割掩码满足要求,得到最终分割掩码;否则,重新生成分割掩码。
4.如权利要求1所述的基于伪语义分割的动态环境视觉导航定位方法,其特征在于:基于特征点动态概率计算每个特征点的权重,包括如下步骤:针对当前帧图像的特征点在分割掩码外的特征点,计算特征点在相邻帧图像中的运动距离;
计算特征点的运动距离与所有特征点的最大运动距离的比值,得到相对运动强度;
基于特征点在历史帧中的动态概率,根据特征点的相对运动强度进行递推计算,得到当前帧图像中特征点的动态概率;
基于特征点的动态概率,为各个特征点分配权重,使得特征点的动态概率越低,权重越大。
5.如权利要求1所述的基于伪语义分割的动态环境视觉导航定位方法,其特征在于,将特征点的权重引入,构建的非线性优化目标函数为:;
其中,、表示优化的相机姿态;是特征点i的像素坐标;是特征点i的3D坐标;是投影函数,用于将3D点投影到图像平面;表示t时刻的第i个特征点的权重,R表示旋转矩阵,表示平移向量,表示欧几里得范数的平方。
6.基于伪语义分割的动态环境视觉导航定位系统,其特征在于,包括:自适应特征点提取模块,被配置为针对获取的待处理视觉图像,基于当前帧图像的特征点分布及当前帧与前一帧图像之间特征点的匹配数量,确定特征提取的自适应阈值,提取当前帧图像的特征点;基于当前帧的特征点分布及当前帧与相邻上一帧图像之间特征点的匹配数量,确定特征提取的自适应阈值的方法,包括如下步骤:基于当前帧图像的特征点分布,假设特征点置信度分布符合高斯分布,计算期望和方差,进而计算特征点提取数量下限作为基础置信度阈值;
基于当前帧与前一帧图像之间的特征点匹配数量,采用Sigmoid函数将匹配数量映射为阈值增量项,并与基础置信度阈值相加,生成特征提取的自适应阈值;
伪语义分割模块,被配置为针对获取的视觉图像,通过深度学习模型检测动态目标,并提取动态目标的候选框内的特征点的深度信息,采用高斯混合模型深度聚类划定动态区域,生成动态物体的分割掩码,包括如下步骤:以候选框内的深度值为样本,采用高斯混合模型对样本分布进行建模;
采用期望最大化算法来估计高斯混合模型的模型参数;
基于估计参数后的高斯混合模型,计算候选框内每个深度值属于各高斯成分的后验概率,将深度分布偏离背景分布的像素划定为动态物体区域,生成动态物体的初步分割掩码;
针对初步分割掩码的边界,基于边界内外点的深度值差值对初步分割掩码进行评估,当不满足要求,重新生成分割掩码,直到生成的动态物体的分割掩码满足要求;
对于同一帧图像中多个候选框,合并各自生成的掩码,形成完整的动态物体的分割掩码,并采用形态学腐蚀操作优化掩码边界,得到最终的动态物体的分割掩码;
特征点权重优化模块,被配置为针对当前帧图像,提取在分割掩码外的特征点,基于特征点动态概率计算每个提取的特征点的权重;
建图模块,被配置为将特征点的权重引入非线性优化目标函数,针对分割掩码外的特征点进行帧间跟踪以估计相机位姿,基于相机位姿与分割掩码外的特征点,在非线性优化目标函数下构建SLAM地图。
7.如权利要求6所述的基于伪语义分割的动态环境视觉导航定位系统,其特征在于,自适应特征点提取模块包括自适应阈值计算模块,被配置为执行以下步骤:基于当前帧图像的特征点分布,假设特征点置信度分布符合高斯分布,计算期望和方差,进而计算特征点提取数量下限作为基础置信度阈值;
基于当前帧与前一帧图像之间的特征点匹配数量,采用Sigmoid函数将匹配数量映射为阈值增量项,并与基础置信度阈值相加,生成特征提取的自适应阈值。
8.如权利要求6所述的基于伪语义分割的动态环境视觉导航定位系统,其特征在于,自适应特征点提取模块还包括共享编码器、特征点解码器以及描述符解码器;
共享编码器,用于对获取的视觉图像进行图像特征抽取,生成统一的中间表示张量;
特征点解码器,用于针对中间表示张量,提取置信度图,经过变形操作得到二维特征点置信度张量;
特征点自适应选择模块,用于根据得到的用于特征提取的自适应阈值,对置信度张量进行筛选,确定高于自适应阈值的置信度区域作为有效特征点位置,筛选后得到特征点;
描述符解码器,用于针对中间表示张量,通过多层卷积和归一化操作,得到与图像空间位置对应的描述符张量;
描述符后处理模块,用于根据筛选出的特征点的位置,对描述符张量进行后处理的索引操作,提取对应位置的特征向量作为特征点的描述符。