欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2018103613693
申请人: 杭州电子科技大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-01-05
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.快速运动下的场景三维重建方法,其特征在于包括步骤如下:步骤1:预处理;

1.1将6DOF的相机姿态变化矩阵表示为如下形式:其中,旋转矩阵 平移向量 其表示从第i帧相机变化到第j帧相机的相机相对姿态变化矩阵,比如第i帧上的相机三维坐标点 经变化矩阵变换到j帧上的的坐标位置为pj=Tj,ipi;此外,设相机的内参矩阵为K,像素坐标系上像素点u的齐次向量为 在第k帧时,通过深度相机获得像素坐标系上每个像素点 的原始深度图Rk(u),计算出每个相机坐标点的世界坐标值p所组成的三维点云模型:

1.2通过双边滤波去除原始深度图Rk(u)的大量噪声,得到双边滤波后的深度图Dk(u);

然后对深度图Dk(u)做图像金字塔,得到不同分辨率的深度图,并采用从低到高的形式来提高相机跟踪的速度,同时输出一个点云二值图提高数据匹配速度;

步骤2:建立模糊模型

根据彩色相机的模糊原理,将第k帧模糊的深度图像表示成每一时刻深度图在相机曝光时间内的积分:其中,T为相机曝光时间,r(t)为相机曝光时间内t时刻深度相机采集的场景深度;由于在相机快速运动的情况下,在某帧曝光时间内的相机姿态也是随时间变化的;因此是一个随时间和速度变化的函数:Tk,k-1(t)=T0+vt,t∈[0,Δt]  公式5其中,T0为相机曝光起始时间点的k-1帧至k相机相对位姿,v是在第k帧的曝光时间段内相机的速度,由于曝光时间短,因此假设单帧曝光时间内的相机速度不变;

步骤3:相机姿态估计;

根据相机跟踪的方法,通过模糊的彩色图像预先估计出一个粗糙的相机相对姿态作为迭代最近点方法ICP方法的初始姿态,随后利用ICP方法估计出一个相对精确的相机相对姿态;将该相机相对姿态作为初始值,利用设置的能量函数联合优化相机的姿态和曝光时间内相机速度,具体如下:根据相机的成像原理,通过第k-1帧相机在世界坐标系下的姿态Tk-1,g和第k-1帧时所建立的场景模型Fk-1,来获得第k-1帧的三维点云模型Vk-1:Vk-1=Fk-1(Tk-1,g)  公式6通过将ICP估计出的在快速运动下相邻两帧的相机相对位姿 作为T0的初始值,估计的当前帧相机速度vinit作为速度的初始值;

利用模糊成像原理,建立数据项能量函数:

根据相机运动原理,在很短的相机曝光时间内,相机的运动速度变化很小,于是假设相机的一个曝光时间内加速度为0;以此建立相机姿态和速度的平滑项能量函数:Evelocity=‖vinit-v‖2    公式8然后对能量函数优化:

其中,λ1和λ2为能量权重,通过使该能量函数最小,求得最优的相机速度和相机姿态;

步骤4:清晰深度图像的提取及融合

4.1从深度相机采集的模糊深度图中提取出清晰深度图像:设第k帧在曝光结束那一刻所采集的三维点云模型为 其中δ(u)为该时间点的三维点云模型与模糊三维点云模型的差值;因此曝光时间内任意时刻的三维点云模型表示为其中,

根据深度图模糊原理,我们可以建立能量函数:最后通过能量最小化求解得到最优值:

4.2将清晰深度图像计算得到的三维点云模型与当前场景模型进行融合,获得新的场景模型;

用一种三维模型表达方式TSDF来表示我们的模型,在提取出当前帧k的清晰三维模型后,利用之前估计的相机相对姿态,将当前采集的模型 同我们之前采集的场景模型进行融合得到最新的场景模型Fk: