1.对比学习与语义感知的渐进式红外与可见光图像融合方法,其特征在于:所述方法的具体步骤如下:步骤1:获取含有配准的红外与可见光图像对以及语义分割标签的训练数据集;
步骤2:获取训练数据集中红外图像的显著性目标检测掩码,将获取的结果和训练数据集进行预处理;
步骤3:将预处理后的红外图像和可见光图像输入渐进式特征编码器进行特征提取,获得红外图像特征和可见光图像特征;
步骤4:将红外图像特征和可见光图像特征通过注意力门限融合模块融合后,分别送入融合解码器和语义分割解码器,获得融合图像和语义分割结果;
步骤5:计算融合损失和语义分割损失,优化网络参数;
步骤6:利用显著性目标检测掩码和红外与可见光图像构造锚点图像,将渐进式编码器中不同层的特征输入解码器构造正负样本;
步骤7:通过三元组损失依次微调编码器不同层参数;
步骤8:将编码器参数冻结,通过融合和语义分割损失微调解码器参数。
2.根据权利要求1所述的对比学习与语义感知的渐进式红外与可见光图像融合方法,其特征在于,所述步骤1中,训练数据集中的每个图像组,都由一幅红外图像、一幅可见光图像和语义分割标签构成;其中,语义分割标签中的分类数为9。
3.根据权利要求1所述的对比学习与语义感知的渐进式红外与可见光图像融合方法,其特征在于,所述步骤2中,具体操作如下:将训练数据集中的红外图像输入预训练好的显著性目标检测网络BGNet, 得到每幅红外图像对应的显著性目标检测掩码;之后将训练数据集与检测结果进行预处理;预处理的方法为,将图像尺寸统一为256×256,然后对数据进行随机反转和随机旋转,对处理之后的图像进行归一化。
4.根据权利要求1所述的对比学习与语义感知的渐进式红外与可见光图像融合方法,其特征在于,所述步骤3中,特征提取的具体操作如下:将预处理后的红外图像
其中,
5.根据权利要求1所述的对比学习与语义感知的渐进式红外与可见光图像融合方法,其特征在于,所述步骤4中,将渐进式特征提取编码器其中,
然后将初步融合特征
6.根据权利要求1所述的对比学习与语义感知的渐进式红外与可见光图像融合方法,其特征在于,所述步骤5中,计算融合损失和语义分割损失,优化网络参数包括:融合损失纹理细节损失
其中,
语义分割损失
其中,
7.根据权利要求1所述的对比学习与语义感知的渐进式红外与可见光图像融合方法,其特征在于,所述步骤6中,根据显著性目标检测掩码将渐进式特征提取编码器
8.根据权利要求7所述的对比学习与语义感知的渐进式红外与可见光图像融合方法,其特征在于,所述步骤7中,三元组损失定义为:其中,