欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 202210634004X
申请人: 南京邮电大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于自注意力神经网络的单目图像深度估计算法,其特征在于:包括如下步骤:步骤1:获取参与训练的多种不同场景的深度数据集;

步骤2:对步骤1中的深度数据集中的真实值进行域统一,并且通过正则化对所有真实值进行尺度缩放;

步骤3:将训练数据集中的图像送入图片预处理网络,生成低级图像特征;

步骤4:将步骤3中的低级图像特征送入自注意力神经网络进行高级特征提取;

步骤4中接收步骤3中的图像特征进行特征编码的自注意力神经网络包含12层,每层均包括多头自注意力网络、多层感知器、层归一化,层与层之间进行串联,并在其中数层中添加token注意力;

在自注意力神经网络第3、6、9和第12层嵌入token注意力,将token向量进行多头注意力计算前,对token向量分别进行最大池化和平均池化操作,然后通过多层感知器得到相应的池化token向量,然后相加并利用sigmoid函数对处理后的token向量进行权重计算,得到TA(I),并将其与输入token向量I进行相乘计算;

token注意力表达式如下:

;

其中MLP为多层感知器,MaxPool为最大池化层,AvgPool为平均池化层,sigmoid为激活函数;

步骤5:将步骤3和步骤4提取的图像特征送入特征融合模块进行特征融合,并送入深度信息解码器,获得网络预测深度值;

步骤6:利用最小二乘算法对步骤5预测的深度值与步骤2预处理的真实值进行尺度匹配,得到尺度因子与平移因子;

步骤7:利用步骤6获得的尺度因子与平移因子对网络预测值进行尺度变换,并通过尺度不变损失函数和边缘梯度不变损失函数计算损失,进行网络反向传播,得到训练好的且优化损失为全局最小值的网络;

步骤8:将单张任意图片输入到步骤7训练好的网络生成对应的深度信息图。

2.根据权利要求1所述一种基于自注意力神经网络的单目图像深度估计算法,其特征在于:步骤3中图片预处理网络包括卷积网络和块编码网络;

卷积网络将图像进行低级特征编码得到特征向量,其中,H,W为输入图片原始高和宽,h,w,c分别为编码后的高,宽以及通道数量;

块编码网络将特征向量进行分块位置编码,三维向量降成token向量,同时嵌入同样大小的位置编码,其中为最终token向量个数,为token向量特征维度数。

3.根据权利要求1所述一种基于自注意力神经网络的单目图像深度估计算法,其特征在于:步骤5中特征融合模块依次包括两个残差卷积层、上采样模块和线性投影,其中一个残差卷积层接收浅层特征计算残差特征与深层特征相加后送入另一个残差卷积层然后进行上采样与投影,残差卷积层包括依次设置的ReLu激活函数层、卷积模块、批次标准化模块、ReLu激活函数层、卷积模块和批次标准化模块,两个卷积模块的卷积核均为3*3。

4.根据权利要求3所述一种基于自注意力神经网络的单目图像深度估计算法,其特征在于:步骤5中深度信息解码器包括卷积核为3*3大小的卷积模块、上采样模块、卷积核为3*3大小的卷积模块、ReLu激活函数、卷积核大小为1的卷积模块和ReLu激活函数。

5.根据权利要求1所述一种基于自注意力神经网络的单目图像深度估计算法,其特征在于:步骤6中尺度匹配的表达式为:;

其中,为网络预测深度值,为深度真实值,为第个像素点,V为有效像素点个数,对齐后网络预测值为,真实值为。

6.根据权利要求5所述一种基于自注意力神经网络的单目图像深度估计算法,其特征在于:步骤7中尺度不变损失函数的表达式为:;

其中,,即排除20%最大的差值;

边缘梯度不变损失函数的表达式为:

;

其中,K表示不同尺度大小;表示不同尺度,尺度大小呈一半递减;分别为计算每个尺度的横纵梯度;

总的训练损失函数如下:

;

其中,表示每批次处理图像的数量,α表示梯度损失函数所占权重。