欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2023101169478
申请人: 湖北工业大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于ConvDepth的自监督单目深度估计方法,其特征在于,包括以下步骤:

步骤1:目标图像It经过Depth网络生成视差图Dt或深度图 其中, 为Dt的倒数;

所述Depth网络采用编码器‑解码器结构,所述编码器为ConvNeXt骨干网络,所述解码器由Conv‑Decoder层和Disparity Head层组成;

所述ConvNeXt骨干网络由四层Stage组成,层数分别为(3,3,27,3),每层的维度分别为(128,256,512,1024);其中,第一层Stage由卷积核为4、步长为4的普通卷积,Layer Normalization以及ConvNeXt Block所组成;所述ConvNeXt Block首先将输入经过一个卷积核为7,填充为3的深度可分离卷积,之后经过层归一化和卷积核大小为1的普通卷积,然后经过GELU激活函数以及一层全连接层,最后进行残差连接;后三层Stage,分别经过一层下采样层和ConvNeXt Block,其中下采样层由层归一化以及卷积核大小为2、步长为2的普通卷积组成;

所述Conv‑Decoder层,分为4层Stage,每一层Stage层数为1,每一层中有相应的降维,每一个跳跃连接处均设置有一个可变行卷积ODConv1×1;每一层Stage输入都有两个,分别是上一层Stage的输出以及跳跃连接到编码器中的特征输出;首先特征输出经过由两层3×

3的卷积所组成的残差连接Rsblock、1×1卷积embedding和SoftMax所组成的特征注意力模块产生Att输出,同时将上一层的输出和特征输出进行逐像素相加产生Add输出,随后将Att和Add进行逐像素相乘并经过一个Rsblock生成Mul输出,最后将Mul输出和Add输出进行维度堆叠产生Cat输出;最后将Cat输出经过一层由ReLU函数激活的3×3卷积层Convblock和上采样操作产生Conv‑Decoder最终输出;

所述Disparity Head,将Conv‑Decoder所产生的输出编译为视差图;所述Disparity Head由SoftMax激活函数、卷积核大小为3和填充为2的普通卷积、采样到原图尺寸的上采样以及视差回归所组成;其中视差回归将每一维度进行SoftMax并逐像素相乘相应维度的视差等级,最后将每一维度对应的像素点进行进行相加,生成大小为原图像尺寸,维度为1的视差图;

步骤2:连续两帧图像(Is,It)的堆叠采用Pose网络预测6D旋转和平移矩阵Tt→s;

步骤3:将目标图像反向warping,生成重建图像

其中,K为相机内参矩阵, 为It重建后的图像,x为2D空白网格点,interpolation为双线性插值方法,⊙表示逐像素相乘。

2.根据权利要求1所述的基于ConvDepth的自监督单目深度估计方法,其特征在于:步骤2中所述Pose网络为编码器‑解码器结构,输入为连续两帧图像(Is,It)的堆叠,网络的编码器为ResNet 18,解码器由一个卷积核为1的普通卷积、两个卷积核为3填充为1的普通卷积以及一个卷积核为1的普通卷积所组成,网络的输出为6D旋转平移矩阵Tt→s。

3.根据权利要求1所述的基于ConvDepth的自监督单目深度估计方法,其特征在于:所述Depth网络,是训练好的Depth网络;为增加伪标签的鲁棒性,训练过程中,将鲁棒性损失运用于Conv‑Decoder的Stage4;对于Conv‑Decoder的stage(1,2,3),运用自蒸馏损失将鲁棒自蒸馏损失 代替光度损失 中的L1损失;

其中,

其中,α,c为自适应参数;

对于其他网络层,即分辨率不足输入分辨率的视差图D1,2,3,对其进行上采样到原始输入图像分辨率,然后将D0作为伪标签,对D1,2,3进行自蒸馏;用D0作为监督信号,对其他分辨率进行监控;自蒸馏损失由为:其中,D0为Disp0,k为增益系数,当num_of_epoch

则鲁棒自蒸馏损失 为:

其中,numscales为输出尺度数量。

4.根据权利要求1‑3任意一项所述的基于ConvDepth的自监督单目深度估计方法,其特征在于:所述Depth网络,是训练好的Depth网络;训练过程中,将重建图像 作为预测值与目标图像It进行逐像素残差运算,生成监督网络的弱信号;

训练中采用的总损失函数为:

其中, 为预测的深度图,λ为 和 之间的加权系数;

光度损失 由结构一致性损失SSIM损失和L1损失所组成,如下公式所示:

其中,为 和L1之间的加权系数;

图像平滑损失 如下所示:

其中,δx、δy分别为在图像的高度、宽度方向进行求导。

5.一种基于ConvDepth的自监督单目深度估计系统,其特征在于,包括以下模块:

模块1,用于目标图像It经过Depth网络生成视差图Dt或深度图 其中, 为Dt的倒数;

所述Depth网络采用编码器‑解码器结构,所述编码器为ConvNeXt骨干网络,所述解码器由Conv‑Decoder层和Disparity Head层组成;

所述ConvNeXt骨干网络由四层Stage组成,层数分别为(3,3,27,3),每层的维度分别为(128,256,512,1024);其中,第一层Stage由卷积核为4、步长为4的普通卷积,Layer Normalization以及ConvNeXt Block所组成;所述ConvNeXt Block首先将输入经过一个卷积核为7,填充为3的深度可分离卷积,之后经过层归一化和卷积核大小为1的普通卷积,然后经过GELU激活函数以及一层全连接层,最后进行残差连接;后三层Stage,分别经过一层下采样层和ConvNeXt Block,其中下采样层由层归一化以及卷积核大小为2、步长为2的普通卷积组成;

所述Conv‑Decoder层,分为4层Stage,每一层Stage层数为1,每一层中有相应的降维,每一个跳跃连接处均设置有一个可变行卷积ODConv1×1;每一层Stage输入都有两个,分别是上一层Stage的输出以及跳跃连接到编码器中的特征输出;首先特征输出经过由两层3×

3的卷积所组成的残差连接Rsblock、1×1卷积embedding和SoftMax所组成的特征注意力模块产生Att输出,同时将上一层的输出和特征输出进行逐像素相加产生Add输出,随后将Att和Add进行逐像素相乘并经过一个Rsblock生成Mul输出,最后将Mul输出和Add输出进行维度堆叠产生Cat输出;最后将Cat输出经过一层由ReLU函数激活的3×3卷积层Convblock和上采样操作产生Conv‑Decoder最终输出;

所述Disparity Head,将Conv‑Decoder所产生的输出编译为视差图;所述Disparity Head由SoftMax激活函数、卷积核大小为3和填充为2的普通卷积、采样到原图尺寸的上采样以及视差回归所组成;其中视差回归将每一维度进行SoftMax并逐像素相乘相应维度的视差等级,最后将每一维度对应的像素点进行进行相加,生成大小为原图像尺寸,维度为1的视差图;

模块2,用于连续两帧图像(Is,It)的堆叠采用Pose网络预测6D旋转和平移矩阵Tt→s;

模块3,用于将目标图像反向warping,生成重建图像

其中,K为相机内参矩阵, 为It重建后的图像,x为2D空白网格点,interpolation为双线性插值方法,⊙表示逐像素相乘。