欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2024100679463
申请人: 南京邮电大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于CNN和Transformer特征融合的单目深度估计方法,其特征在于:所述单目深度估计方法具体包括如下步骤:步骤1、构建用于训练的混合深度数据集,对混合深度数据集中的RGB图片及其对应的深度图标签进行归一化、数据增强的预处理操作;

步骤2、将步骤1预处理的RGB图片输入到网络中,所述网络包括编码部分和解码部分,所述编码部分包括Transformer分支、CNN分支和引导融合模块,所述解码部分包括解码融合模块和深度输出模块,所述Transformer分支处理RGB图片得到一维Transformer特征图;

步骤3、所述CNN分支处理步骤1预处理后的RGB图片并提取四个不同分辨率的CNN特征图;

步骤4、选取所述Transformer分支中的四层一维Transformer特征图,并使用所述特征转换模块将一维Transformer特征图转换为类图像特征图,并用转置卷积调整类图像特征图的尺度,最终获得与步骤3得到的CNN特征图相对应分辨率的四个Transformer特征图;

步骤5、步骤3得到的CNN特征图和步骤4得到的四个Transformer特征图输入所述引导融合模块,获得四个层级的特征图,其分辨率为输入RGB图片的,其中,将CNN特征图和 四个Transformer特征图输入所述引导融合模块,获得四个层级的特征图,具体包括以下步骤:步骤5.1、对于每个所述引导融合模块,处理相同尺度的Transformer特征图和CNN特征图,先将Transformer特征图和CNN特征图沿着通道维度拼接,然后通过3x3卷积,BN和RELU激活函数降低通道维度;

步骤5.2、使用shuffle attention机制增强特征表示,使Transformer特征图和CNN特征图充分融合;

步骤5.3、通过四个引导融合模块获得四个层级的特征图,其中每个层级的特征图兼具Transformer的全局信息处理优势和CNN的局部特征提取优势;

步骤6、将步骤5获得的四个层级的特征图输入所述解码融合模块,所述解码融合模块由残差卷积单元和上采样操作组成,通过跳跃连接自下而上的融合四个层级的特征图,逐步重建图像细节,获得解码后的输出特征图,分辨率为输入RGB图片的1/4;

步骤7、将步骤6得到的解码后的输出特征图输入所述深度输出模块,生成与输入图片RGB相同大小、细节丰富、准确性高的深度图;

步骤8、将输入RGB图像的深度图标签和所述步骤7预测的深度图进行损失值计算,进行网络超参数迭代优化,得到训练好的模型。

2.根据权利要求1所述的一种基于CNN和Transformer特征融合的单目深度估计方法,其特征在于:所述步骤1中的混合深度数据集包括NYU数据集、ApolloScape数据集、Town05数据集、RedWeb数据集和HR-WSI数据集组成,每个所述NYU数据集、ApolloScape数据集、Town05数据集、RedWeb数据集和HR-WSI数据集均由RGB图片和对应的深度图标签构成,将深度图标签规范到同一个深度空间,并用线性归一化,使深度值范围在[0,1]之间。

3.根据权利要求1所述的一种基于CNN和Transformer特征融合的单目深度估计方法,其特征在于:所述步骤6中的残差卷积单元包括RELU激活函数,3×3卷积和BN,具体的解码融合过程包括如下步骤:步骤6.1、从步骤5中输出分辨率为输入RGB图片1/32大小的特征图开始,特征图在经过当前解码融合模块的第一个残差卷积单元处理后,与上一个解码融合模块输出的特征图相加;

步骤6.2、通过第二个残差卷积单元并上采样其两倍,得到分辨率为输入RGB图片1/16大小的特征图;

步骤6.3、连续3个的解码融合模块之后,最后得到输入RGB图片分辨率1/4大小的特征图。

4.根据权利要求1所述的一种基于CNN和Transformer特征融合的单目深度估计方法,其特征在于:所述步骤8中损失值计算如下:,

其中,代表预测的深度图,代表真实的深度图标签,代表预测的深度值,代表真实的深度值,j代表像素的索引值,M代表有效的像素数量,R=0.8M用来去除20%的最大异常值以减小模型对异常数据的过拟合。

5.根据权利要求1-4任一项所述的一种基于CNN和Transformer特征融合的单目深度估计方法,其特征在于:在所述步骤2中,所述Transformer分支包括图像嵌入模块、12个连续的Transformer层和特征转换模块,RGB图片通过图像嵌入模块输入网络中得到一系列的嵌入向量,将输出的一系列的嵌入向量作为12个Transformer层的输入,12个连续的Transformer层对嵌入向量进行处理,通过多头自注意力机制捕获12个一维Transformer特征图。

6.根据权利要求1-4任一项所述的一种基于CNN和Transformer特征融合的单目深度估计方法,其特征在于:在所述步骤2中,所述CNN分支采用预训练的残差网络ResNeXt101,所述CNN分支由多个CNN残差块堆叠而成,分为四个阶段,在每个阶段分别获得原始输入图像大小的特征图。