欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2024119213126
申请人: 山东建筑大学
专利类型:发明专利
专利状态:已下证
专利领域: 测量;测试
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于语义和几何融合信息的动态环境导航方法,其特征在于,包括:获取动态环境的连续帧图像;所述图像包括RGB图像和深度图像;

对连续帧图像进行图像预处理,包括:

对获取的原始RGB图像进行颜色空间转换,将原始RGB图像从RGB空间转换为Lab颜色空间,获取Lab图像;

针对Lab图像中的亮度通道分量,采用多尺度Retinex算法进行多尺度亮度增强,并对增强后的亮度分量再依次进行对比度校正、自适应亮度调整和去噪处理;

基于调整后的亮度通道分量,经与原始Lab颜色空间中其他通道分量的合并,重构增强后的图像;

基于重构后的Lab图像,经颜色空间转换,得到增强后的RGB图像;

采用拉普拉斯算子,对增强后的RGB图像进行边缘提取及边缘叠加,得到预处理后的图像;

将预处理后的连续帧图像输入至改进的目标检测模型中,识别动态环境中物体的类别;

提取预处理后连续帧图像中的特征点,经特征点匹配后,采用改进的GC-RANSAC算法区分匹配特征点中的内外点,根据内点计算基础矩阵;其中,采用改进的GC-RANSAC算法,将特征点中的内点和外点的划分问题转化为能量最小化问题,结合几何、空间、时序一致性,经求解计算,识别特征点中的内点,包括:基于匹配特征点与基础矩阵的几何关系,以及相邻特征点的空间与时序一致性,构建能量函数,为:;

其中,表示匹配点集的标签分配,G为邻接图;为调节参数;一元项表示匹配点与基础矩阵的几何关系;成对项用于描述相邻特征点的空间一致性与时序一致性,为:;

其中,表示匹配点与基础矩阵的几何关系,、分别表示特征点、的标签分配,和表示点和在时间上的顺序,为时序一致性函数,用于度量相邻点之间的时间差异或运动一致性,若点和来自同一个物体并且运动一致,则;若点和来自不同的物体或具有不一致的运动,则;表示时序一致性项的权重超参数;

以最小化能量函数为目标进行求解,计算获得特征点的最优标签分配L,利用最优标签分配L区分内点和外点;

根据基础矩阵,采用极线约束和多视图几何约束,联合识别的物体类别语义信息,筛选并确定特征点中的静态特征点,包括:根据识别的动态环境中物体类别,为每一物体的每一特征点分配权重;其中,高动态物体对应的特征点赋予高权重,低动态或静态物体对应的特征点则赋予低权重;

根据基础矩阵,利用极线约束计算每一特征点到极线的距离;

根据每一特征点的距离与权重,计算得到加权距离,并根据加权距离与经验阈值进行比较,初步筛选出静态特征点;

针对初步筛选出的静态特征点,利用多视图几何约束进行再次筛选,确定最终的静态特征点,以避免动态环境下,由于场景中频繁出现的动态物体导致特征误匹配;

基于筛选出的静态特征点估计相机位姿,再利用BA优化算法进行优化,根据优化后的结果构建环境地图并进行动态环境导航。

2.如权利要求1所述的一种基于语义和几何融合信息的动态环境导航方法,其特征在于,采用MobileNetV3-SSD作为目标检测模型,并引入FPN模块和SE模块,构建改进的目标检测模型;

预处理后的RGB图像输入至改进的目标检测模型中,先通过MobileNet V3主干网络,经多层深度可分离卷积,提取融合空间和通道信息的多尺度特征图;

每一尺度的特征图输入至SE模块,学习并生成各通道的重要性权重,经通道加权得到优化后的特征图;

优化后的多尺度特征图输入至FPN模块,融合浅层的高分辨率特征与深层的高语义特征,输出特征融合后的多尺度融合特征图;

多尺度融合特征图输入至SSD模块,在每层特征图上检测并生成预测,输出目标的边界框和类别标签。

3.如权利要求2所述的一种基于语义和几何融合信息的动态环境导航方法,其特征在于,所述改进的目标检测模型的损失函数包括位置损失和类别损失;

所述位置损失为:

;

上式中,为正样本的数量;为预测边界框参数,包括中心坐标、宽度、高度;为真实边界框参数;函数;

所述类别损失为:

;

上式中,为正样本的数量;为类别集合;为第个样本预测为类别的概率;为类别的权重;为调节参数。

4.一种基于语义和几何融合信息的动态环境导航系统,其特征在于,包括:图像获取模块,用于获取动态环境的连续帧图像;所述图像包括RGB图像和深度图像;

图像预处理模块,用于对连续帧图像进行图像预处理,包括:对获取的原始RGB图像进行颜色空间转换,将原始RGB图像从RGB空间转换为Lab颜色空间,获取Lab图像;

针对Lab图像中的亮度通道分量,采用多尺度Retinex算法进行多尺度亮度增强,并对增强后的亮度分量再依次进行对比度校正、自适应亮度调整和去噪处理;

基于调整后的亮度通道分量,经与原始Lab颜色空间中其他通道分量的合并,重构增强后的图像;

基于重构后的Lab图像,经颜色空间转换,得到增强后的RGB图像;

采用拉普拉斯算子,对增强后的RGB图像进行边缘提取及边缘叠加,得到预处理后的图像;

物体类别识别模块,用于将预处理后的连续帧图像输入至改进的目标检测模型中,识别动态环境中物体的类别;

图像特征点提取与匹配模块,用于提取预处理后连续帧图像中的特征点,经特征点匹配后,采用改进的GC-RANSAC算法区分匹配特征点中的内外点,根据内点计算基础矩阵;其中,采用改进的GC-RANSAC算法,将特征点中的内点和外点的划分问题转化为能量最小化问题,结合几何、空间、时序一致性,经求解计算,识别特征点中的内点,包括:基于匹配特征点与基础矩阵的几何关系,以及相邻特征点的空间与时序一致性,构建能量函数,为:;

其中,表示匹配点集的标签分配,G为邻接图;为调节参数;一元项表示匹配点与基础矩阵的几何关系;成对项用于描述相邻特征点的空间一致性与时序一致性,为:;

其中,表示匹配点与基础矩阵的几何关系,、分别表示特征点、的标签分配,和表示点和在时间上的顺序,为时序一致性函数,用于度量相邻点之间的时间差异或运动一致性,若点和来自同一个物体并且运动一致,则;若点和来自不同的物体或具有不一致的运动,则;表示时序一致性项的权重超参数;

以最小化能量函数为目标进行求解,计算获得特征点的最优标签分配L,利用最优标签分配L区分内点和外点;

静态特征点筛选模块,用于根据基础矩阵,采用极线约束和多视图几何约束,联合识别的物体类别语义信息,筛选并确定特征点中的静态特征点,包括:根据识别的动态环境中物体类别,为每一物体的每一特征点分配权重;其中,高动态物体对应的特征点赋予高权重,低动态或静态物体对应的特征点则赋予低权重;

根据基础矩阵,利用极线约束计算每一特征点到极线的距离;

根据每一特征点的距离与权重,计算得到加权距离,并根据加权距离与经验阈值进行比较,初步筛选出静态特征点;

针对初步筛选出的静态特征点,利用多视图几何约束进行再次筛选,确定最终的静态特征点,以避免动态环境下,由于场景中频繁出现的动态物体导致特征误匹配;

位姿优化及导航模块,用于基于筛选出的静态特征点估计相机位姿,再利用BA优化算法进行优化,根据优化后的结果构建环境地图并进行动态环境导航。

5.一种电子设备,其特征在于,包括:

存储器,用于存储可执行指令;处理器,用于执行所述存储器中存储的可执行指令时,实现权利要求1-3任一项所述的基于语义和几何融合信息的动态环境导航方法。

6.一种计算机可读存储介质,其特征在于,存储有可执行指令,用于引起处理器执行所述可执行指令时,实现权利要求1-3任一项所述的基于语义和几何融合信息的动态环境导航方法。

7.一种计算机程序产品,其特征在于,所述计算机程序产品包括可执行指令,所述可执行指令存储在计算机可读存储介质中;

当电子设备的处理器从所述计算机可读存储介质读取所述可执行指令,并执行所述可执行指令时,实现权利要求1-3任一项所述的基于语义和几何融合信息的动态环境导航方法。