1.一种基于残差网络及局部细化的单目深度估计方法,其特征在于方法包括以下步骤:
步骤1_1:选取D幅深度估计原始图像及深度估计原始图像对应的已知深度的深度估计标签图像,将所有深度估计原始图像及其对应的深度估计标签图像构成训练集;
步骤1_2:构建神经网络模型;
步骤1_3:将训练集输入到神经网络模型进行训练:训练过程中,每次迭代训练处理得到每幅深度估计原始图像的深度预测图,计算每幅深度估计原始图像的深度预测图与深度估计标签图像构成的损失函数值,损失函数值采用均方差MSE损失函数获得;
步骤1_4:重复执行步骤1_3一共n次,并共得到D×n个损失函数值;然后从D×n个损失函数值中找出最小的损失函数值对应的神经网络模型作为结果,从而完成神经网络模型的训练;
步骤1_5:利用训练后获得的神经网络模型对深度待预测的深度估计原始图像进行预测处理,输出获得对应的深度预测图,实现单目图像深度估计;
所述步骤1_2中,所述的神经网络模型包括依次连接的输入层、隐藏层和输出层,深度估计原始图像输入到输入层,输出层输出深度估计原始图像对应的深度预测图;
隐藏层包括主体部分和分支部分,隐藏层的主体部分主要由依次连接的第一个inception块、第二个inception块、第一个初始卷积块、第一个卷积块、第一个下采样块、第二个下采样块、第三个下采样块、第四个下采样块、第二个卷积块、第一个上采样块、第二个上采样块、第三个上采样块、第四个上采样块、第一个初始上采样残差块、第一个Dropout层和第一个conv2DTranspose层组成,第一个inception块与输入层连接,第一个inception块接收输入层的输出,第一个conv2DTranspose层与输出层连接,输出层接收第一个conv2DTranspose层的输出;
隐藏层的分支部分包括第一分支部分和第二分支部分,第一分支部分包括依次连接的第二个初始卷积块、第三个初始卷积块、第四个初始卷积块、第五个初始卷积块、第六个初始卷积块和第七个初始卷积块,第二个初始卷积块与输入层连接,第二个初始卷积块接收输入层的输出,第七个初始卷积块连接到第一个初始上采样残差块的输出端,第一个初始上采样残差块的输出与第七个初始卷积块的输出通过Add叠加的方式融合后再输入到第一个Dropout层;
隐藏层的第二分支部分包括第一个恒等跳跃块、第二个恒等跳跃块、第三个恒等跳跃块、第四个恒等跳跃块,第一个恒等跳跃块的输入连接到第三个下采样块的输出,第一个恒等跳跃块的输出连接到第二个上采样块的输入,第一个上采样块的输出和第一个恒等跳跃块的输出通过Add叠加的方式融合后再输入到第二个上采样块;
第二个恒等跳跃块的输入连接到第二个下采样块的输出,第二个恒等跳跃块的输出连接到第三个上采样块的输入,第二个上采样块的输出和第二个恒等跳跃块的输出通过Add叠加的方式融合后作为第三个上采样块的输入;
第三个恒等跳跃块的输入连接到第一个下采样块的输出,第三个恒等跳跃块的输出连接到第四个上采样块的输入,第三个上采样块的输出和第三个恒等跳跃块的输出通过Add叠加的方式融合后作为第四个上采样块的输入;
第四个恒等跳跃块的输入连接到第一个初始卷积块的输出,第四个恒等跳跃块的输出连接到第一个初始上采样残差块的输入,第四个上采样块的输出和第四个恒等跳跃块的输出通过Add叠加的方式融合后作为第一个初始上采样残差块的输入。
2.根据权利要求1所述的一种基于残差网络及局部细化的单目深度估计方法,其特征在于:所述的第一个inception块和第二个inception块相同,以第一个inception块进行说明:第一个inception块包括四个分支,四个分支分别为卷积层一、卷积层二、卷积层一、卷积层四,输入层的输出分别输入卷积层一、卷积层二、卷积层一、卷积层四中,四个分支的输出经过Concatenate拼接的方式融合后作为第一个inception块的输出。
3.根据权利要求1所述的一种基于残差网络及局部细化的单目深度估计方法,其特征在于:所述的第一个卷积块、第一个下采样块、第二个下采样块、第三个下采样块、第四个下采样块、第二个卷积块分别由结构相同但数量不同的残差映射块依次连接构成,第一个卷积块、第一个下采样块、第二个下采样块、第三个下采样块、第四个下采样块、第二个卷积块包含的残差映射块数量分别为一、三、四、六、三、一;
每个残差映射块包括主支路、侧支路和激活层三,主支路和侧支路并联后的一端再与激活层三连接,主支路由卷积层五、批标准化层一、激活层一、卷积层六、批标准化层二、激活层二、卷积层七和批标准化层三依次连接构成,侧支路包括依次连接的卷积层八和批标准化层四,批标准化层四的输出与批标准化层三的输出通过Add叠加融合后,再输入到激活层三。
4.根据权利要求1所述的一种基于残差网络及局部细化的单目深度估计方法,其特征在于:第一个上采样块主要由两个相同的上采样映射块和一个上采样残差块依次连接构成,第二个上采样块主要由五个相同的上采样映射块和一个上采样残差块依次连接构成,第三个上采样块主要由三个相同的上采样映射块和一个上采样残差块依次连接构成,第四个上采样块主要由两个相同的上采样映射块和一个上采样残差块依次连接构成;
单个上采样映射块包括依次连接的卷积层十二、批标准化层八、激活层七、卷积层十三、批标准化层九、激活层八,激活层九,卷积层十二的输入端再直接跳跃连接到激活层八的输出,激活层八的输出与来自卷积层十二的输入经add叠加融合后,再输入到激活层九;
单个上采样残差块包括主支路、侧支路和激活层十二,主支路和侧支路并联后的一端再与激活层十二连接,主支路由卷积层十四、批标准化层十,激活层十、反卷积层一、批标准化层十一和激活层十一依次连接构成,侧支路包括依次连接的反卷积层二和批标准化层十二,激活层十一的输出与批标准化层十二的输出经add叠加融合后,再输入到激活层十二。
5.根据权利要求1所述的一种基于残差网络及局部细化的单目深度估计方法,其特征在于:所述的隐藏层的四个恒等跳跃块结构相同,单个恒等跳跃块包括依次连接的卷积层九、批标准化层五、激活层四、卷积层十、批标准化层六、激活层五、卷积层十一、批标准化层七和激活层六,卷积层九的输入端再直接跳跃连接到批标准化层七的输出,来自卷积层九的输入与批标准化层七的输出经add叠加融合后,再输入到激活层六。