欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2021110335529
申请人: 重庆邮电大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-11-18
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.基于边缘信息的RGB‑D相机动态视觉里程计方法,其特征在于,包括以下步骤:S1,使用K‑means聚类法,将RGB‑D相机采集到的图像分为24个簇;S2,将聚类后的边缘图与灰度图分别坐标变换到关键帧及其DT图上,分别得到光度及几何一致性残差、边缘对齐残差和补偿残差;S3,将所述光度及几何一致性残差和边缘对齐残差进行数据融合,构建基于边缘信息的聚类残差模型;S4,引入平均背景深度进行运动分割,基于步骤S3构建的模型引入平均背景深度构建引入平均背景深度聚类残差模型;S5,计算步骤S2中的补偿残差;S6,将步骤S2中的补偿残差和S5构建的残差模型与面元3D重建算法结合,得到加权聚类残差;S7,将步骤S6得到的加权聚类残差加入优化函数中进行位姿估算,并将得到的位姿进行跟踪质量检查,更新下次迭代的变换矩阵或关键帧。2.根据权利要求1所述基于边缘信息的RGB‑D相机动态视觉里程计方法,其特征在于:所述K‑means聚类法,通过计算每一个三维空间点距离簇中心点的距离,来确定该空间点属于哪一个簇。3.根据权利要求1所述基于边缘信息的RGB‑D相机动态视觉里程计方法,其特征在于:所述步骤S2包括:S21:将聚类后的当前帧Fc坐标变换到关键帧Fk,根据光度及几何一致性构建残差模型,计算光度及几何一致性误差;S22:将聚类后的边缘图坐标变换到关键帧的DT图,得到基于边缘对齐的残差模型,计算边缘对齐误差。4.根据权利要求3所述基于边缘信息的RGB‑D相机动态视觉里程计方法,其特征在于:所述构建的光度及几何一致性残差模型为:rIp(ξ)=IM(ω(xp,ξ))‑ID(xp)式中,rIp和分别表示点p对应的光度误差与深度误差,xp为当前帧的第p个像素点,M表示关键帧,D表示当前帧,I为光度图,Z为深度图,T(ξ)表示变换矩阵,|·|Z表示三维坐标点的Z坐标值,ξ为当前帧到关键帧坐标变换的李代数,π‑1为逆投影函数,ω为坐标变换函数;所述边缘对齐残差模型具体公式如下:式中,表示对齐残差,表示边缘点p对应的DT误差,DTM表示关键帧的DT误差函数。5.根据权利要求1所述基于边缘信息的RGB‑D相机动态视觉里程计方法,其特征在于:步骤S3所述基于边缘信息的聚类残差模型,具体公式如下:式中,rn表示第n个簇的残差值,分别表示点i对应的光度误差、深度误差和DT误差,αI表示缩放强度,αE表示DT误差在残差模型中所占权重,On表示第n个簇中遮挡的像素个数,En表示第n个簇中所有深度有效的边缘点,F(·)表示Cauchy函数,M表示图像中深度有效点的数量,S(b)表示动态残差集合,bi(p)表示p点所在i簇的得分,分别表示

根据噪声对光度和几何残差加权的权重。6.根据权利要求5所述基于边缘信息的RGB‑D相机动态视觉里程计方法,其特征在于:所述DT误差在残差模型中所占权重αE的公式如下:式中,vc为相机运动速度,N为簇总数量,μ为由αI到αE的尺度系数,Sn表示第n个簇中所有深度有效的像素个数,En表示第n个簇中所有深度有效的边缘点。7.根据权利要求1所述基于边缘信息的RGB‑D相机动态视觉里程计方法,其特征在于:步骤S4所述构建引入平均背景深度聚类残差模型,具体包括:S41:定义平均背景深度公式为:式中,表示当前帧的平均背景深度,表示上一帧的平均背景深度,dc‑1为上一帧分割出的动态簇数量,表示第n个簇的平均背景深度,λD表示深度图的权重;S42:根据S41构建的公式构建引入平均背景深度后的残差模型为:式中,δn为引入平均背景深度后的第n个簇的残差值,表示第n个簇与背景的距离,rn表示引入平均深度之前第n个簇的残差值。8.根据权利要求1‑7任一项所述基于边缘信息的RGB‑D相机动态视觉里程计方法,其特征在于:步骤S5所述补偿残差S(b)分为SD(b)、SR(b)和SP(b)三项,其中SD(b)是量化后的高残差,SR(b)是一个正则化项,SP(b)是一个几何约束项,惩罚较大的平均深度差,具体公式如下:S(b)=SD(b)+SR(b)+SP(b)式中,Ki表示簇i中的像素个数,E(rn)表示正则后的数值,Gij为聚类连通函数,为1表示i与j簇连通,bi和bj分别表示当前帧中i簇与j簇的残差,λR表示连通函数的权重,λP表示几何约束项的权重,表示p点所在i簇的残差,表示Cauchy函数阈值的高低边界。

9.根据权利要求8所述基于边缘信息的RGB‑D相机动态视觉里程计方法,其特征在于:所述步骤6根据聚类残差分布的普遍特征,使用面元3D重建算法将相关图像进行分割,实现动态簇和静态簇的分离,将残差高于残差平均值的簇判定为动态簇,低于阈值的簇作为静态簇或赋权部分加入到位姿估算中。10.根据权利要1或9所述基于边缘信息的RGB‑D相机动态视觉里程计方法,其特征在于:所述步骤S7具体包括:S71:采用Cauchy  M‑estimator模型,通过加权聚类残差来构建非线性优化函数,用来准确的估计帧间运动,具体公式如下:式中,M表示所有深度有效的点的数量,表示属于第n个簇的点i的权重,c表示F的插入点,r表示对r点进行Cauchy代价评估。通过最小化非线性优化函数求得最佳的帧间运动;S72:采用边缘信息来评估跟踪质量,将跟踪过W帧的边缘投影到当前帧中,得到像素点重叠计数图,通过对相同重叠数构建直方图,来获取图像重叠情况,具体公式如下:式中H(j)表示重叠数为j的点的数量,γj表示重叠数为j的点在跟踪质量评估中所占的权重,H(0)表示没有重叠的点的数量,γ0表示没有重叠的点在跟踪质量评估中所占的权重。