1.一种基于卷积神经网络的自监督单目深度估计方法,其特征在于:该方法包括以下顺序的步骤:(1)获取数据集:采用单目相机拍摄连续帧图像作为数据集;
(2)构建深度估计网络,从数据集中选取一张图像作为目标视图输入至深度估计网络,深度估计网络输出深度估计图像;
(3)搭建相机位姿网络,从数据集中选取目标视图的上一帧图像和下一帧图像输入至相机位姿网络,相机位姿网络输出位姿变化矩阵;
(4)利用深度估计网络和相机位姿网络对深度估计图像、位姿变化矩阵进行计算,得到重建视图(5)将重建视图输入扩散模型,扩散模型输出新的重建视图;将重建视图输入到扩散模型中,扩散模型采用DDPM模型,扩散模型的输入为重建视图,扩散模型的输出为新的重建视图;
(6)对比新的重建视图和目标视图,设计损失函数,利用反向传播进行深度估计网络和扩散模型的参数更新,得到参数更新后的深度估计网络和扩散模型;
(7)将待估计图像输入参数更新后的深度估计网络,参数更新后的深度估计网络输出深度估计图像;
在步骤(6)中,所述设计的损失函数为;
L=γLp+βLs+δLd;
式中,
γ,β,δ为参数,Lp为逐像素光度损失,Ls为平滑项损失,Ld为去噪损失;逐像素光度损失Lp的公式为:式中,It为目标视图,为重建视图;SSIM为结构相似性,用于衡量两幅图像之间相似性的指标;为L1范数,用于衡量两幅图像在每个像素位置上的绝对差异;参数α用于平衡SSIM和L1范数在损失中的贡献,设置为0.85;
优化Lp损失,采用最小重投影法:
式中,Is为目标视图的相邻帧;
平滑项损失Ls的公式为:
式中,分别表示深度图在x,y轴方向的梯度;δxIt,δyIt分别表示图像It在x,y轴方向的梯度;表示权重项,确保深度图更加平滑;
去噪损失Ld的公式如下:
Ld=||It-Id||2
式中,Id为新的重建视图。
2.根据权利要求1所述的基于卷积神经网络的自监督单目深度估计方法,其特征在于:所述步骤(2)具体是指:深度估计网络采用跳跃连接的编码器-解码器结构,编码器由ResNet101网络构成,在ResNet101网络的第三个残差块和第四个残差块之间引入空洞卷积用于增强局部特征的提取,增大感受野,向空洞卷积的卷积层引入一个扩张率参数,该扩张率参数定义了卷积核处理数据时各值的间距;解码器包括卷积层、上采样层和四个相同的上采样模块;
在编码器和解码器之间加入自注意力模块,用来探索非连续图像区域,图像经过编码器,得到低分辨率特征图X输入到自注意力模块,首先形成查询向量Q、键向量K和值向量V,公式如下;
Q=WQX
K=WKX
V=WVX
式中,WQ,WK,WV均为权重矩阵;
计算Q和K,再经过softmax函数归一化得到注意力权重S:S=softmax(QTK)
最后和V做加权和,得到注意力输出Attention(Q,K,V):Attention(Q,K,V)=softmax(QTK)·V。
3.根据权利要求1所述的基于卷积神经网络的自监督单目深度估计方法,其特征在于:所述步骤(3)具体是指:所述相机位姿网络包括编码器和解码器,编码器采用ResNet网络,用于捕捉高层次的图像特征;解码器将来自编码器输出的图像特征通过压缩层,将每个特征压缩到256通道,压缩后的特征在通道维度上拼接,然后经过三个卷积层操作,除最后一层卷积层之外其余两个卷积层应用ReLU激活函数,引入非线性,再经过全局平均池化操作得到特征向量,最后调整输出形状得到位姿变化矩阵。
4.根据权利要求1所述的基于卷积神经网络的自监督单目深度估计方法,其特征在于:所述步骤(4)具体是指:利用深度估计网络和相机位姿网络对深度估计图像、位姿变化矩阵进行计算,得到深度值、目标视图转换到重建视图上的位姿变化矩阵:其中,ps为重建视图上的像素点,pt为目标视图上的像素点,K为相机内参矩阵,为深度值,为目标视图转换到重建视图上的位姿变化矩阵;
根据深度值、目标视图转换到重建视图上的位姿变化矩阵,采用双线性插值得到重建视图其中,psij是ps的邻近的四个像素,t、b、l、r分别代表ps的顶部、底部、左侧和右侧,wij是权重。
5.根据权利要求1所述的基于卷积神经网络的自监督单目深度估计方法,其特征在于:所述步骤(5)具体是指:DDPM模型分为前向过程和逆向过程两个处理阶段;
前向过程是将输入的重建视图逐步加高斯噪声,最终转化为纯噪声XT,T为迭代次数,逆向过程是从纯噪声XT逐步去噪,输出为新的重建视图Id,通过逆向过程,使其能够在每一此迭代预测噪声并去除,实现从噪声生成图像的过程;
前向过程用于生成训练数据,通过逐步向重建视图添加高斯噪声,转化为一系列的加噪图像,计算并保存中间结果,公式如下:式中,q(Xt|Xt-1)为从迭代第t-1次加噪图像到迭代第t次的加噪图像条件概率分布;Xt为迭代第t次的加噪图像;Xt-1为迭代第t-1次的图像;N为高斯分布;βt为迭代第t次添加的噪声的方差参数;为均值;βtI为协方差矩阵;I为单位矩阵;
通过递归上述公式得到从重建视图到迭代第t次的加噪图像Xt:αt=1-βt
式中,是从迭代第一次到迭代第t次的所有噪声因子的累计乘积,∈表示一个从标准正态分布中采样的噪声向量;
逆向过程用于预测每一步迭代添加的噪声,并将其去除,公式为:pθ(Xt-1|Xt)=N(Xt-1;μθ(Xt,t),∑θ(Xt,t))式中,pθ(Xt-1|Xt)为从迭代第t次的加噪图像到迭代第t-1次的加噪图像的概率分布;μθ(Xt,t)为均值;∑θ(Xt,t)为协方差矩阵。