欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2024105131440
申请人: 安徽大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于拉普拉斯金字塔的自监督单目深度估计方法,其特征在于,包括以下步骤:步骤S1、输入连续的图像序列;

步骤S2、估计获得粗深度图Dt和位姿转换信息Tt→t′;

估计获得粗深度图的方法为:将步骤1中彩色图像It输入深度估计网络,对输入的图像It进行下采样操作,同时将对应拉普拉斯残差加入编码器中达到丰富编码特征的效果;所得特征图再经过上采样模块和残差模块得到粗深度图Dt;

获取位姿转换信息的方法为:选择步骤1中一对连续的彩色图像It和It+1,将其输入位姿估计网络,先通过预训练的ResNet网络进行编码提取特征,之后通过卷积层获得位姿信息,位姿信息包括相邻图像的六个自由度的相对姿态;

步骤S3、使用粗深度图和位姿转换信息重建原图

其中,t′为t-1或t+1,It是指当前帧图像;是指重建后的原图;

步骤S4、通过逐像素的最小化光度重投影损失的方式来计算和最小化图像重建损失,最终所得损失函数Loss包括图像重建损失和平滑损失其中,S是尺度数,λ为平滑正则项的权重系数;

步骤S5、用连续的图像序列训练位姿估计网络和深度估计网络;使用训练过后的深度估计网络预测深度图;

所述步骤2估计获得粗深度图Dt的具体包括下采样获取编码特征、结合拉普拉斯残差丰富编码特征以及解码器获得粗深度图Dt三个步骤,详细内容如下:将大小为H×W×3的图像It输入深度估计网络,深度估计网络共分为3层,每层得到不同分辨率的深度图;

首先,通过3个3×3且步长为1的卷积层对图像It提取特征,之后用2×2且步长为2的最大池化层进行下采样得到大小为的特征图,将该特征图和拥有3个通道的拉普拉斯残差lap1拼接并进入第一层;在第一层,特征图先通过一个3×3,步长为1的卷积层和一个2×2且步长为2最大池化层进行下采样获得大小为的特征图,同时将该特征图送入空洞卷积模块,经过空洞卷积模块之后,特征图通过通道注意力模块进行多维度特征交互;

随后,将交互后的特征与拉普拉斯残差Lap2以及第一层池化下采样后的特征图拼接并进入第二层,在第二层,拼接后的特征先通过一个3×3且步长为1的卷积层和一个2×2且步长为2的最大池化层进行下采样得到的特征图;之后将进入由三个3×3且步长为1的空洞卷积层组成的空洞卷积模块和用于特征交互的通道注意力模块进行特征提取和交互;最后将所得特征和拉普拉斯残差Lap3以及第二层池化下采样后的特征图拼接进入第三层;

在第三层,特征经过下采样后进入空洞卷积模块和通道注意力模块最终得到大小为的特征图;

接着,再将通过编码器获得的特征图经由解码器来估计获得粗深度图,方法为:特征信息首先进入残差模块,残差模块中,先经过一个3×3且步长为1的卷积层,之后进入分支结构,经过分支结构后再与之前的特征信息相加形成残差网络;随后,特征信息将依次进入上采样层以及3×3且步长为1和1×1且步长为1的卷积层;

最后,数据将通过上采样操作和激活函数来获得最终的粗深度图。

2.根据权利要求1所述的基于拉普拉斯金字塔的自监督单目深度估计方法,其特征在于,获得拉普拉斯残差图的方法是:首先,通过不断对图像进行下采样分别得到大小为和的下采样图,然后对大小为的下采样图进行上采样并得到大小为和的上采样图;最后用得到的下采样图与对应大小的上采样图做差获得拉普拉斯残差lap1,lap2和lap3。

3.根据权利要求1所述的基于拉普拉斯金字塔的自监督单目深度估计方法,其特征在于,所述残差模块的分支结构包含两个3×3且步长为1的卷积层,两个Elu激活函数和一个用于归一化的BatchNorm层;分支结构可以对编码器提取到的特征进行分类从而获得更好的预测结果,经过分支后再与之前的数据相加形成残差网络。

4.根据权利要求1所述的基于拉普拉斯金字塔的自监督单目深度估计方法,其特征在于,所述步骤S4逐像素的最小化光度重投影损失,即是指其中,K是相机的内参数,[]是采样算子,

所述图像重建损失的计算方法如下:

先通过计算像素级相似度SSIM以及和It之间的误差得到Loss:然后利用Dt,Tt→t′,K投影出深度图Dt在It′中的二维坐标,然后通过采样算子得到最终的重建图像接着使用自动掩码过滤连续帧中保持静止且处于同一场景的像素点,掩码至此,图像重建损失表示为:

所述平滑损失的计算方法如下:

其中,dt*表示平均归一化逆深度;

进而得到最终损失函数: