欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2018113063276
申请人: 浙江工业大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2023-12-11
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于层次主题模型的语义SLAM对象关联方法,其特征在于,所述方法包括以下步骤:

1)对相机进行内参标定得到相机的畸变参数和内参矩阵其中,[x,y]是归一化平面点的坐标,[xdistorted,ydistorted]是畸变后的坐标,k1,k2,k3,p1,p2是畸变项;

P为相机内参矩阵,其中f为相机焦距,[Ox,Oy]为主光轴点;

2)利用SSD和CNN构建深度学习网络,训练深度学习模型,完成物体识别和物体位姿预测任务;

3)基于层次主题模型的语义SLAM是在ORB‑SLAM2的基础上改进得到的,机器人运动过程中,相机会捕捉到一系列的图像I1:T={I1,…,IT},对于每一帧图像,计算相机的位姿xt以及地图点的三维位置,在此过程中,相机的运动方程表示如下:xt=f(xt‑1,μt)+ωt,ωt~N(0,Rt)              (3.1)其中,μt是运动测量,ωt是服从均值为0,方差为Rt的高斯分布的噪声,相机的观测方程表示如下:

zt=h(xt,yt)+vt,vt~N(0,Qt)                 (3.2)将第一帧图像作为关键帧D0,之后的图像以前一帧关键帧为参照,将图像信息变化明显的图像帧设为新的关键帧D1,并添加到关键帧队列,以此类推,假设整个过程中共抽取了k个关键帧,即D0:k={D0,…,Dk},D表示关键帧集合;

4)对每一个关键帧Di作如下操作,0≤i≤k:a)利用深度学习模型识别关键帧对应的图像上的目标物体,并估计其相对于相机的位姿,则得到该帧图像的对象测量 其中Mi表示在该帧图像中检测到的物体个数;

b)从之前的关键帧队列中筛选与关键帧Di有视角重合的n个关键帧集合,这些关键帧的对象测量的集合记为yc={yc1,…,ycn}.对每一个出现在关键帧Di的对象,将其与yc中所有同类别的对象测量利用层次主题模型计算关联概率,根据概率是否大于阈值来判断两个对象是否关联;

c)对当前系统中的每一个对象,构造其与相关的关键帧还有地图点的因子图,进行对象位姿、相机位姿和地图点位置的优化;

5)如果检测到关键帧回环,进行回环矫正,并更新相关物体位姿;

6)物体关联操作执行后,实时绘制带有三维位姿物体、相机运动轨迹的地图。

2.如权利要求1所述的一种基于层次主题模型的语义SLAM对象关联方法,其特征在于,所述步骤4)中,通过深度学习预测得到的对象测量,利用层次主题模型对对象测量进行建模,建模的过程设计到吉布斯采样方法,根据构造的HDP主题模型进行对象关联计算,并基于对象关联进行相机位姿优化。