欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2023100625454
申请人: 南京邮电大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种面向3D目标检测的点云一致性约束单目深度估计方法,其特征在于:所述点云一致性约束单目深度估计方法包括如下步骤:步骤1:准备用于无监督单目深度估计的数据集D1,数据集包括训练集D1‑T和验证集D1‑E,所述训练集D1‑T包括摄影设备拍摄的多组时间连续单目图像,所述验证集D1‑E包括摄影设备拍摄的多张不连续单目图像;

步骤2:将步骤1中所述训练集D1‑T分批输入无监督单目深度估计模型,每批训练数据包括多组连续单目图像,无监督单目深度估计模型输出用于计算点云和损失的数据,输出的所述数据包括与输入图像对应的深度图、与输入图像对应的摄影设备位姿变化;

步骤3:根据步骤2所得的深度图和位姿变化,计算与输入图像对应的重投影图像和点云;

步骤4:根据步骤2所得的深度图和步骤3所得的重投影图像、点云,计算训练总损失,其中所述训练总损失包括重投影损失、点云一致性损失、边缘平滑损失;

步骤5:使用步骤4所得训练总损失训练步骤2的无监督单目深度估计模型,优化得到最优的无监督单目深度估计模型,使用D1‑E对其验证,计算深度估计指标;

步骤6:准备用于3D目标检测的数据集D2,数据集包括训练集D2‑T和验证集D2‑E,所述训练集D2‑T和验证集D2‑E均包括摄影设备拍摄的多张不连续单目图像、所述图像对应的点云文件,所述点云文件是对应图像的深度图由深度图‑点云转换算法处理得到,所述深度图为对应图像经过步骤5所得的最优无监督单目深度估计模型处理得到;

步骤7:使用训练集D2‑T训练3D目标检测模型,得到最优3D目标检测模型,使用验证集D2‑E对其验证,计算3D目标检测指标。

2.根据权利要求1所述的面向3D目标检测的点云一致性约束单目深度估计方法,其特征在于:步骤4所述计算训练总损失表示为:L=αLrp+βLpcc+γLes

其中L是训练总损失,Lrp是重投影损失,Lpcc是点云一致性损失,Les是边缘平滑损失,α、β、γ是超参数。

3.根据权利要求2所述的面向3D目标检测的点云一致性约束单目深度估计方法,其特征在于:所述点云一致性损失表示为:其中,SSIMpc是点云结构相似性度量函数,用于测量两团点云的结构相似性,P表示点云即三维坐标的集合,P′s是对步骤3中计算出的源帧的点云进行warp操作得到的点云,Pt→s是对步骤3中计算出的目标帧的点云进行位姿变换得到的点云,median表示取中位数,div表示逐点除,υ是超参数,P′s和Pt→s分别表示为:‑1

P′s=warp(Ps,p′s)=warp(D(ps)K ps,p′s)‑1

Pt→s=Tt→sD(pt)K pt

其中warp是依据采样点扭曲图像的变换操作,D表示深度估计模型计算的深度,K摄影设备的相机内参,Tt→s是步骤2中模型输出的位姿变化,变换操作warp(Ps,p′s)是指点云Ps根据采样点p′s来扭曲变形,所述采样点p′s是目标帧坐标向源帧重投影得到的坐标,即源帧上与目标帧对应的点,p′s表示为:‑1

p′s~KTt→sD(pt)K pt。

4.根据权利要求3所述的面向3D目标检测的点云一致性约束单目深度估计方法,其特征在于:所述SSIMpc表示为:其中PX、PY分别是点云X和点云Y,μX和μY分别表示X和Y的均值,σX和σY分别表示X和Y的方差,C1、C2是常数。

5.根据权利要求1所述的面向3D目标检测的点云一致性约束单目深度估计方法,其特征在于:所述重投影损失表示为:其中SSIM是结构相似性度量函数,用于测量两幅图片的结构相似性,It是步骤2中从连续单目图像里选取的目标帧图像,Is→t是步骤3中计算出源帧图像向目标帧重建的重投影图像,所述源帧是连续单目图像中除了目标帧的其他帧,μ是超参数,Is→t表示为:Is→t=warp(Is,p′s)

其中warp是依据采样点扭曲图像的变换操作,Is是源帧图像,p′s是源帧上的采样点,所述变换操作warp(Is,p′s)是指图像Is根据采样点p′s来扭曲变形,所述采样点是目标帧坐标向源帧重投影得到的坐标,即源帧上与目标帧对应的点,p′s表示为:‑1

p′s~KTt→sD(pt)K pt

其中K是摄影设备的相机内参,Tt→s是步骤2中模型输出的位姿变化,所述位姿是指目标帧到源帧的位姿变化,D表示深度估计模型计算的深度,D(pt)是pt的深度,pt是目标帧上的坐标,p′s是经过上式计算出的pt在源帧上的对应点坐标;

其中,SSIM表示为:

其中IX、IY分别是图像X和图像Y,μX和μY分别表示X和Y的均值,σX和σY分别表示X和Y的方差,σXY表示XY的协方差,C1、C2是常数。

6.根据权利要求1所述的面向3D目标检测的点云一致性约束单目深度估计方法,其特征在于:所述边缘平滑损失表示为:其中 表示深度的均值归一化,It表示目标帧图像, 和 分别表示在图像横纵方向上求偏导数。