1.一种基于混合神经网络模型的单目图像深度估计方法,其特征在于:所述单目图像深度估计方法包括如下步骤:步骤1、给定RGB图像和其对应的真实深度值;
步骤2、对给定RGB图像进行标准化操作,使其符合步骤3中卷积模块的输入要求;
步骤3、经过标准化操作的RGB图像依次经过2个卷积模块,得到浅层的图像特征;
步骤4、将步骤3获得的浅层的图像特征划分为块,利用块注意力模块进行不同区域的特征强化,得到带有重要程度判别的特征;
步骤5、将步骤4得到的带有重要程度判别的特征依次经过Transformer模块,得到深层的特征;
步骤6、将步骤3获得的浅层的图像特征与步骤5得到深层的特征组成不同尺度的图像特征序列,在特征融合模块中由深到浅依次进行特征融合,得到完整的特征表示;
步骤7、将步骤6得到完整的特征表示,利用深度信息输出块,将其映射到对应的深度表示,获得的深度图;
步骤8、将步骤7获得的深度图与步骤1中RGB图像的真实深度值利用平移不变性损失进行误差分析,在目标损失最小的条件下,优化模型,得到最终的网络模型,完成深度估计,其中:所述步骤4将卷积捕捉到的浅层的图像特征通过块注意力模块转化为具有不同重要性的块,再送入Transformer模块,产生更具代表性的标记,块注意力模块在垂直和水平方向上聚合浅层的图像特征,捕捉远距离的依赖关系,并保留精确的位置信息,具体包括如下步骤:步骤4-1、由卷积模块生成浅层的图像特征图,并将其分割为块分别使用两个平均池化(ph,1)或(1,pw)来编码每个通道沿水平坐标和垂直坐标,得到:其中,和分别表示第c个通道在高度ph和宽度pw处的输出,i为垂直方向的第i个特征块,j为水平方向的第j个特征块,p为特征块的数量;
步骤4-2、将和的输出相连,再利用卷积进行变换:
f=δ(F1([zph,zpw])
其中,[zph,zpw]表示沿空间维度的连接操作,δ非线性激活函数,f是中间特征映射;
步骤4-3、沿着空间维度将f分割成两个单独的序列fph和fpw,同时,另外两个1×1卷积变换Fph和FPw被用来分别将fph和fpw转换为具有与输入块相同通道数的序列,gph=σ(Fph(fph))
gpw=σ(Fpw(fpw))
其中,σ表示sigmoid函数,fph和fpw是两个单独的序列,Fph和FPw是两个1×1卷积变换,gph和gpw是两个权重,式中,x′c(i,j)是加权的块,然后被嵌入到标记中进行进一步处理,xc(i,j)表示输入的块,和是两个空间权重。
2.根据权利要求1所述的一种基于混合神经网络模型的单目图像深度估计方法,其特征在于:在所述步骤3中,卷积模块负责下采样并对局部信息进行建模,所述卷积模块分别取自标准ResNet的第一层和第二层,对于给定的输入图像I∈RH×W×3,其中(H,W)表示原始图像的分辨率,使用卷积模块1和卷积模块2来逐渐将图像分别下采样4倍和2倍,卷积模块1的输出特征图的尺寸为[H/4,W/4,C],卷积模块2的输出特征图的尺寸为[H/8,W/8,C],其中C表示通道维度。
3.根据权利要求1所述的一种基于混合神经网络模型的单目图像深度估计方法,其特征在于:所述步骤5具体为:遵循Transformer模块,利用CNN Block 1将其分割为非重叠的块x∈RH/4p×W/4p×C,其中(p,p)表示每个特征块的分辨率,非重叠的块先经过块注意力模块进行特征区域强化,再被展平为序列,并通过线性投影分别嵌入到维度为D的空间中,然后加上位置嵌入,作为Transformer模块的输入,表示为t0,每个层由多头自注意力(MSA)机制模块和多层感知器(MLP)模块组成,在多头自注意力(MSA)机制模块和多层感知器(MLP)模块之前应用层归一化(LN),并为每个模块使用残差连接,具体公式如下:其中,t0、Epos分别表示标记序列和位置嵌入,D是每个序列的特征维度,和tl分别表示第l层多头自注意力(MSA)机制模块输出的深层特征和多层感知器(MLP)模块输出的深层特征。
4.根据权利要求1所述的一种基于混合神经网络模型的单目图像深度估计方法,其特征在于:所述步骤6具体为:步骤5得到深层的特征需要先经过重组模块后再与步骤3获得的浅层的图像特征进行特征融合得到完整的特征表示,其中,通过重组模块对Transformer模块输出的特征表示进行统一,具体为:R=Resample о Unflatten о Pro(t)
其中,R是重组操作,pro(t)是投影操作,l是第l个Transformer层,通过线性层和GELU非线性函数将标记信息传递到每个序列中,以恢复原始维度D,Unflatten(t)∈Rh/p×w/p×C根据原始块的位置信息将每个序列放置在图像中,得到类似于图像的表示形式,然后通过Resample(t)∈RH/s×W/s×C进行重采样,s为当前层的空间尺度。
5.根据权利要求1所述的一种基于混合神经网络模型的单目图像深度估计方法,其特征在于:所述步骤7具体为:利用3×3卷积模块对深度特征的不同通道进行卷积操作,利用上采样模块将特征图的分辨率增大,使得特征图的尺寸与原始输入图像保持一致,利用ReLu激活函数实现非线性变换,利用1×1卷积对特征图的降维或通道数的调整。