欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2024104267373
申请人: 安徽大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于手动特征伪装的热图像深度估计方法,其特征在于,包括以下步骤:步骤S1、输入热图像以及摄像机对应的内部参数,每组热图像数据中均包含有N幅宽为W、高为H的热图像,每幅热图像均有对应相机的内部参数和外部参数;其中,i表示热图像的序号,第i幅热图像的相机内部参数为Ki、相机的外部参数为Ti;

步骤S2、计算加强热图像;

首先,对于每一幅源热图像均提取由其热辐射值组成的直方图hθ;

hθ=sθ,θ=t0,t1,…,tmax;

[tθ,tθ+1]是源热图像的直方图的各个温度区间,sθ是[tθ,tθ+1]温度区间中的样本数量;tmax是指源热图像直方图的最大温度;

然后将所有直方图hθ按照热辐射值vra重新排序,得到热辐射值重排后的热图像重新排序的公式如下:其中,γθ是缩放因子,t′θ为每个子直方图缩放的新偏移量,是指与子直方图数目成正比的比例因子;

最后将热辐射值重排后的热图像输入热图像处理结构,先在内部将图像划分为不重叠的局部图像,后使用预定义的限幅阈值进行每张局部图像的直方图均衡化处理,得到细节加强后的热图像步骤S3、构造特征提取编码器,计算特征向量集合;

先基于热图像构造第一阶段的特征图对于每幅特征图均提取其五种不同尺度的特征图且特征图的尺度依次为:H×W,和最后将五种特征图组合成一个特征集合步骤S4、构造特征伪装结构,对特征集合中的信息进行隐藏和筛选;先对多尺度特征图提取隐藏特征图然后,将输入到特征伪装结构中,即可计算出不确定特征图Dt,具体方法为:步骤S4.1、使用|sin x|、|cos x|、|2sin x cos x|和sin2x构成手动特征伪装器,将步骤S3第五尺寸特征图输入到手动特征伪装器获得伪装特征图步骤S4.2、将伪装特征图线性组合得到手动伪装特征图Fmc,计算公式如下:其中,α和β是超参数并将其设置为0.2和0.4,且将手动伪装特征图Fmc组合到特征集合中;

步骤S5、构造特征向量解码器,特征向量解码器包括解码残差模块和激活函数;将所得不确定特征图Dt进行线性组合,将线性组合后的结果输入到特征向量解码器中,即可获得深度图Id;

步骤S6、计算混合损失Loss,Loss=γLossgc+δLosseds+Losstrl;

其中,Lossgc为深度真实值与深度预测值之间的几何损失,Losseds为由深度估计图Id引入的边缘感知平滑损失,Losstrl为由深度估计图Id引入的热图像重建损失,γ和δ为超参数;

步骤S7、重复步骤S3至步骤S6,直至算法收敛,即可获得深度图估计模型。

2.根据权利要求1所述的基于手动特征伪装的热图像深度估计方法,其特征在于,所述步骤S3的构造特征提取编码器,计算特征向量集合的具体步骤为:步骤S3.1、将加强热图像输入1×1的卷积网络进行热图像特征的初步提取,生成初步特征图步骤S3.2、使用三个2×2卷积层、全连接层和ELU激活函数构成特征提取编码器;将步骤S3.1所得初步特征图输入到特征提取编码器,最终生成起始特征图步骤S3.3、将步骤S3.2所得起始特征图重复步骤S3.1至步骤S3.2,得到第二尺寸的特征图步骤S3.4、将步骤S3.3得到的第二尺寸特征图重复步骤S3.2,得到第三尺寸的特征图步骤S3.5、将步骤S3.4得到的第三尺寸特征图重复步骤S3.2,得到第四尺寸的特征图步骤S3.6、将步骤S3.5得到的第四尺寸特征图重复步骤S3.2,得到第五尺寸的特征图步骤S3.7、将特征图和组合为特征集合

3.根据权利要求1所述的基于手动特征伪装的热图像深度估计方法,其特征在于,所述步骤S5中通过特征向量解码器获得深度图Id的具体步骤如下:步骤S5.1、使用一个3×3的卷积层、归一化层和ReLU激活函数构成特征向量解码器;将手动伪装特征图Fmc输入到特征向量解码器,最终生成估计深度图步骤S5.2、将估计深度图重复步骤S5.1,得到第二尺寸的估计深度图将估计深度图重复步骤S5.1,得到第三尺寸估计深度图将估计深度图重复步骤S5.1,得到第四尺寸估计深度图将估计深度图重复步骤S5.1,得到第五尺寸H×W估计深度图步骤S5.3、将第五尺寸H×W估计深度图经过Sigmoid激活函数计算深度估计图Id。

4.根据权利要求1所述的基于手动特征伪装的热图像深度估计方法,其特征在于,所述步骤S6中混合损失Loss包括深度图的几何损失、边缘感知平滑损失和热图像重建损失,三个部分的具体计算过程如下:采用深度真实值与深度预测值之间的几何损失的计算方法如下:

其中,DS′是变形源深度图Ds和相对姿态Pt→s后合成的深度图,Dt′是目标图像深度图Dt和DS′共享相同的信息获得的深度图,V是Is投影到It的点的集合。

低频纹理结构不能带来实质性的自监督,则对于生成的深度图,进而计算出边缘感知平滑损失:其中,是沿空间方向进行微分以阻止估计深度的伸缩。

计算热图像It和Is中估计深度图Dt和Ds的热图像重建损失并过滤深度图中的无效像素,具体的计算方法如下:其中,Ie′nt是Ient通过逆扭曲方式得到的,δ是比例因子,SSIM是结构相似性指数图,Qgm过滤了遮挡和热图像中物品的移动所造成的无效像素,Qsm过滤了相机拍摄时的运动所产生的无效像素。