欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2023108737104
申请人: 南京邮电大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于点云学习的无监督单目深度估计方法,其特征在于:所述无监督单目深度估计方法包括如下步骤:步骤1:准备用于无监督单目深度估计的数据集D1,数据集包括训练集D1-T和验证集D1-E,所述训练集包括摄影设备拍摄的多组时间连续单目图像,所述验证集包括摄影设备拍摄的多张不连续单目图像;

步骤2:将训练集D1-T分批输入无监督单目点云估计模型,每批训练数据包括多组连续单目图像,模型输出用于计算损失的数据,输出数据包括与输入图像对应的预测点云、与输入图像对应的摄影设备位姿变化,其中,所述无监督单目点云估计模型为编码器解码器架构,其中:编码器为ResNet18模型,用于提取场景图像的特征,解码器为点云解码器,用于解码场景图像的特征并输出场景的预测点云;

步骤3:根据步骤2所得的预测点云和摄影设备位姿变化,计算与输入图像对应的重投影图像和重建点云;

步骤4:根据步骤2所得的预测点云和步骤3所得的重投影图像、重建点云,计算训练总损失,其中所述训练总损失包括重投影损失、预测点云的自监督约束损失、预测点云的帧间约束损失、边缘平滑损失,其中,所述预测点云的自监督约束损失表示为:其中SSIMpc是点云结构相似性度量函数,用于测量两团点云的结构相似性,P表示步骤3的重建点云,Q表示步骤2的预测点云,Pt表示目标帧图像对应的重建点云,Qt表示目标帧图像对应的预测点云,median表示取中位数,div表示逐点除,υ是超参数,Pt表示为:Pt=D(pt)K-1pt

其中K表示摄影设备的相机内参,D表示无监督单目点云估计模型计算的深度,所述深度是点云估计模型输出的点云的第三维度,D(pt)是pt的深度,pt是目标帧上的坐标;

所述预测点云的帧间约束损失表示为:

其中,Q表示步骤2的预测点云,Q′s表示对源帧的预测点云进行依据采样点扭曲点云的变换操作warp操作得到的点云,Qt表示目标帧的预测点云,Qt→s表示对目标帧的预测点云进行位姿变换得到的点云,SSIMpc是点云结构相似性度量函数、median表示取中位数,div表示逐点除,υ是超参数,Q′s和Qt→s分别表示为:Q′s=warp(Qs,p′s)

Qt→s=Tt→sQt

其中,Tt→s是模型输出的位姿变化,warp是依据采样点扭曲点云的变换操作,Qs是源帧预测点云,p′s是源帧上的采样点,所述变换操作warp(Q′s,p′s)是指源帧预测点云Qs根据采样点p′s来扭曲变形,所述采样点是目标帧坐标向源帧重投影得到的坐标,即源帧上与目标帧对应的点,p′s表示为:p′s~KTt→sD(pt)K-1pt

其中K表示摄影设备的相机内参,D表示无监督单目点云估计模型计算的深度,所述深度是点云估计模型输出的点云的第三维度;

步骤5:使用步骤4所得训练总损失训练步骤2所述无监督单目点云估计模型,得到最优的无监督单目点云估计模型,使用训练集D1-E对最优的无监督单目点云估计模型进行验证,计算深度估计指标;

步骤6:准备用于3D目标检测的数据集D2,数据集包括训练集D2-T和验证集D2-E,所述训练集和验证集均包括摄影设备拍摄的多张不连续单目图像、所述图像对应的点云文件,所述点云文件为步骤2所得输入图像对应的预测点云;

步骤7:使用训练集D2-T训练3D目标检测模型,得到最优3D目标检测模型,使用验证集D2-E对最优3D目标检测模型进行验证,计算3D目标检测指标。

2.根据权利要求1所述的一种基于点云学习的无监督单目深度估计方法,其特征在于:所述步骤2中,所述点云解码器包含多个上采样层和输出层,所述多个输出层对应与输入图像对应的预测点云的三个维度,所述三个维度分别对应三维空间的三个维度,三个维度中的第三维度对应深度。

3.根据权利要求1所述的一种基于点云学习的无监督单目深度估计方法,其特征在于:在所述步骤4中,计算训练总损失表示为:L=αLrp+β1Ls-pcc+β2Lf-pcc+γLes

其中L是训练总损失,Lrp是重投影损失,Ls-pcc是预测点云的自监督约束损失,Lf-pcc是预测点云的帧间约束损失,Les是边缘平滑损失,α、β1、β2、γ是超参数。