欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2021105832381
申请人: 湖南大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-17
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于单目RGB相机回归深度信息的6D位姿估计方法,其特征在于,包括以下步骤:

步骤S1:将单目RGB相机采集的RGB图像输入深度估计网络中,深度估计网络使用基于U‑Net的编码器‑解码器结构,回归得到RGB图像的深度值;

步骤S2:将估计的深度RGB图像转换为点云数据,使用PointNet网络提取点云数据的深度信息;

步骤S3:将RGB图像输入PSPNet网络,提取其颜色特征,回归输入RGB图像的颜色信息;

步骤S4:将回归得到的的深度信息与颜色信息使用DenseFusion网络框架进行逐像素结合全局特征的迭代密集融合,生成逐像素点的估计位姿;

步骤S5:将逐像素点的估计位姿输入多层感知机,再对置信度进行平均最大池化,回归目标对象整体的6D位姿。

2.根据权利要求1所述的一种基于单目RGB相机回归深度信息的6D位姿估计方法,其特征在于:步骤S1具体包括如下步骤:步骤S101:使用单目RGB相机获取场景的RGB图像,再使用经过ImageNet预训练的ResNet18网络作为深度估计网络的编码器;

步骤S102:通过4次上采样及与对应的编码层进行特征拼接构成深度估计网络的解码器;

步骤S103:根据单目RGB相机前后两帧图像之间的特征关系进行匹配,得到单目RGB相机运动前后的相对变换矩阵,从而估计单目RGB相机的位姿,使用单目RGB相机的位姿来帮助约束深度估计网络;

步骤S104:过滤掉前后两帧中外观未改变的像素点;

步骤S105:使用双线性采样对源图像进行采样,之后利用像素空间中的L1距离与SSIM实现光度重构误差函数,公式表示为:式中Pa为源视图,Pb为目标图像,SSIM(Pa,Pb)为Pa与Pb的结构相似性,||Pa‑Pb||1为Pa与Pb在像素空间中的L1距离,α为权重系数,re(Pa,Pb)为Pa与Pb的光度重构误差函数;

步骤S106:将每个像素仅与其可见的视图相匹配,逐像素计算光度重投影,公式表示为:

Pt'→t=Pt'式中Pt'→t为源视图Pt'到目标图像Pt的光度重投影,R为预计算的内参,Tt'→t为每个源视图Pt'相对于目标图像Pt的位姿,Dt为预测的密集深度图,proj()为投影深度Dt的2D坐标,<>是采样运算符;

步骤S107:最小化计算逐像素光度重投影损失Lr,公式表示为:式中Lr是逐像素光度重投影损失,Pt'为源视图,Pt为目标图像,Pt'→t为源视图Pt'到目标图像Pt的光度重投影,re()是光度重构误差函数;

步骤S108:对步骤S107中的Lr应用逐像素二进制掩码ω,有选择地对像素进行加权,公式表示为:

式中,ω∈{0,1},即仅当源视图Pt'到目标图像Pt的光度重投影误差小于原始图像重投影误差时,ω=1;

步骤S109:计算逐像素边缘感知平滑度损失,公式表示为:式中Ls为逐像素边缘感知平滑度损失,Pt为目标图像, 为阻止估计深度缩小的平均归一化逆深度, 表示像素在x方向上的梯度, 表示像素在y方向上的梯度;

步骤S110:先将较低分辨率的深度RGB图像向上采样到输入图像分辨率,然后在此较高输入分辨率下重新投影、重采样并计算误差re,最后的光度重投影总损失是解码器中每个尺度上的各个损失的组合;

步骤S111:将逐像素平滑度与光度重建损失合并为总损失,并对每个像素、尺度和批次进行平均,公式表示为:

Lall=ωLr+ξLs

式中ω为光度重投影损失系数,ξ为平滑度损失系数,Lall为深度估计的总损失。

步骤S112:通过训练学习,不断降低深度估计总损失的值,最终选择总损失最小的深度估计输出图作为对象的深度估计图。

3.如权利要求1所述的基于单目RGB相机回归深度信息的6D位姿估计方法,其特征在于,步骤S3具体包括如下步骤:

将RGB图像输入PSPNet网络,进行场景解析,该PSPNet网络分四级并逐级对输入信息进行处理,提取其颜色特征,通过引入全局均值池化操作与特征融合来实现回归输入RGB图像的颜色信息。

4.如权利要求1所述的基于单目RGB相机回归深度信息的6D位姿估计方法,其特征在于,步骤S4具体包括如下步骤:

步骤S401:将回归得到的的深度信息与颜色信息使用DenseFusion网络框架进行逐像素结合全局特征的迭代密集融合,生成逐像素的密集融合特征;

步骤S402:若对象为非对称物体,则对象的位姿估计损失函数 为预测位姿与采样点的地面真实位姿之间的平均欧式距离,计算公式表示为:式中 为采样点的地面真实位姿与预测位姿之间的平均欧式距离,M表示采样的总点数,xj表示采样的M个点中的第j个点,R表示世界坐标系到相机坐标系转换的真实旋转矩阵,t表示世界坐标系到相机坐标系转换的真实平移矩阵,则(Rxj+t)为第j个点的真实位姿;R'i表示世界坐标系到相机坐标系转换的估计旋转矩阵,t'i表示世界坐标系到相机坐标系转换的估计平移矩阵,则(R'ixj+t'i)为其第j个点中的预测位姿;

步骤S403:若对象为对称物体,则位姿估计损失函数 为预测位姿与采样点的地面真实位姿之间的欧式距离最小值的平均值,计算公式表示为:式中M表示采样的总点数,xj表示采样的M个点中的第j个点,(Rxj+t)为第j个点的真实位姿,(R'ixk+t'i)为从第k个点中预测的预测位姿;

步骤S404:通过训练学习,不断降低损失函数 的值,最终选择损失函数值最小的作为逐像素点的估计位姿。

5.如权利要求4所述的基于单目RGB相机回归深度信息的6D位姿估计方法,其特征在于,步骤S5具体包括如下步骤:

步骤S501:得到逐像素点的预测位姿后,将其输入最终的多层感知机,回归输出对象整体的估计6D位姿与所估计6D位姿的置信度分数;

步骤S502:将对象的置信度分数与位姿估计损失函数组合,构成对象整体6D位姿估计的损失函数,整体损失函数L的计算公式表示为:式中α是一个平衡超参数, 为位姿估计的损失函数,si为每个预测位姿的置信度分数,K是从分割的P个元素中随机抽取的密集像素特征的个数;

步骤S503:通过训练学习,不断降低对象整体损失函数的值,最终选择整体损失函数值最小的输出作为对象的整体估计位姿。