欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2024112103676
申请人: 南京信息工程大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种单目图像深度估计方法,其特征是,包括:获取待估计的单目图像并预处理;

将预处理过的图像输入预先训练的初步深度估计网络,获得图像初步深度估计结果;

将所述初步深度估计结果输入预先训练的迭代优化网络,获得最终的单目图像深度估计结果;

所述初步深度估计网络包括编码器、解码器和回归头;

所述编码器包括若干个依次连接的编码层,所述解码器包含若干个依次连接的解码层,各所述编码层沿编码顺序方向与各解码层沿解码顺序反方向一一对应;所述解码层采用三元组交叉注意力TCA模块,所述三元组交叉注意力TCA模块包括窗口注意力WCA模块、跨维度注意力CDA模块、相关性注意力REA模块和特征块选择融合FBSF模块;

所述窗口注意力WCA模块用于对输入的编码特征和解码特征计算注意力,输出窗口注意力特征;

所述跨维度注意力CDA模块用于对输入的所述解码特征和所述窗口注意力特征计算注意力,输出跨维度注意力特征;

所述相关性注意力REA模块用于对所述窗口注意力特征进行窗口相关性特征提取并计算注意力,输出相关性注意力特征;

所述特征块选择融合FBSF模块对所述窗口注意力特征、所述跨维度注意力特征和所述相关性注意力特征融合,生成本解码层的输出特征;

最后一个解码层的输出为最终解码特征;所述编码特征为本解码层所对应编码层的输出特征;若本解码层为第一个解码层,则输入本解码层的解码特征为每个所述编码层的输出特征融合后的输出特征,若本解码层不为第一个解码层,则输入本解码层的解码特征为前一个解码层的输出特征;

所述回归头,用于根据所述最终解码特征生成所述初步深度估计结果。

2.根据权利要求1所述的单目图像深度估计方法,其特征是,所述窗口注意力WCA模块对输入的编码特征和解码特征计算注意力包括:S11:将所述预处理过的图像拆分成窗口;

S12:在各个窗口,对所述编码特征计算Q向量S13:根据各个窗口计算的Q向量

其中,

3.根据权利要求1所述的单目图像深度估计方法,其特征是,所述初步深度估计网络还包括金字塔池化PPM模块,金字塔池化PPM模块接收每个所述编码层的输出特征,融合处理得到输入第一个解码层的所述解码特征。

4.根据权利要求1所述的单目图像深度估计方法,其特征是,所述跨维度注意力CDA模块包括全局向量生成器GVG,所述全局向量生成器GVG用于接收所述解码特征处理生成全局感知向量,过程为:S211:将所述解码特征的维度的大小压缩成与窗口维度相同,所述解码特征的维度和窗口维度的大小分别为解码特征分辨率和窗口分辨率;

S212:将压缩的解码特征复制恢复成原所述解码特征的维度,边缘用mask补充;

S213:从恢复后的解码特征各个窗口大小的压缩解码特征内提取V向量作为全局感知向量。

5.根据权利要求4所述的单目图像深度估计方法,其特征是,所述跨维度注意力CDA模块用于对输入的所述解码特征和所述窗口注意力特征计算注意力包括:S21:所述全局向量生成器GVG生成所述全局感知向量,所述全局感知向量作为V向量,对所述窗口注意力特征计算得到Q向量和K向量;

S22:对Q向量、K向量和V向量计算注意力,输出所述跨维度注意力特征。

6.根据权利要求1所述的单目图像深度估计方法,其特征是,所述相关性注意力REA模块用于对所述窗口注意力特征进行窗口相关性特征提取并计算注意力包括:S31:将所述窗口注意力特征拆分为不同的窗口,每个窗口经过线性变换,得到Q向量S32:将Q向量

S33:分别提取所述Q向量

S34:将中间Q向量矩阵

S35:基于所述邻接矩阵构建索引函数,得到每个窗口与哪k个窗口相关性最高,k是小于窗口数量的非零自然数;

S36:分别对所述K向量

S37:对Q向量

7.根据权利要求1所述的单目图像深度估计方法,其特征是,所述特征块选择融合FBSF模块对所述窗口注意力特征、所述跨维度注意力特征和所述相关性注意力特征融合,包括:S41:将所述跨维度注意力特征和所述相关性注意力特征之和设为第一特征GS42:将所述第一特征G

S43:将所述第二特征B

S44:将被分割的特征块通过特征块选择操作间隔选中,提取各个被选中特征块里的最大值生成第三特征BS45:对所述第三特征B

S46:将所述第四特征G

8.根据权利要求1所述的单目图像深度估计方法,其特征是,所述迭代优化网络包括基于门控循环单元GRU的迭代优化器,所述迭代优化网络基于初步深度估计结果获得最终的单目图像深度估计结果,包括:S51:计算不确定图

其中,t=1时,

S52:将第t阶段的深度图

其中,

S53:将所述第t+1阶段的隐藏特征

其中,更新模块△为Conv-ReLU组合操作,所述迭代优化器的迭代过程为:设定迭代次数为x,x为非零自然数,t的初始值为1顺序循环执行S51-S53步骤至t等于x,

9.根据权利要求1所述的单目图像深度估计方法,其特征是,训练所述初步深度估计网络和所述迭代优化网络包括训练损失函数,采用的损失函数包括不确定性损失和深度图损失;

计算所述不确定性损失包括:

S61:用拉普拉斯分布的概率密度函数来构建第i个像素点的不确定性真值其中,

S62:计算不确定性损失

其中,

计算所述深度图损失包括:

S71:计算图像第i个像素点深度预测值S72:计算深度图损失SILog如下:其中y为像素点总数,

总体损失

10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储一个或多个程序,所述一个或多个程序包括指令,所述指令当由计算设备执行时,使得所述计算设备执行权利要求1~9所述的任一方法。