欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2024106085295
申请人: 昆明理工大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.基于融合-语义特征分类器的红外与可见光图像融合方法,其特征在于:所述方法的具体步骤如下:步骤1:获取含有配准的红外与可见光图像对以及语义分割标签的训练数据集;

步骤2:将所有训练数据集中数据进行预处理;

步骤3:将预处理后的红外图像和可见光图像输入融合子网络,获取融合特征及融合结果;

步骤4:计算融合损失,优化融合子网络参数后,冻结融合子网络参数;

步骤5:将预处理后的红外图像和可见光图像分别送入语义分割子网络,分别获取红外和可见光图像的语义特征及分割结果;

步骤6:计算语义分割损失,优化语义分割子网络参数,冻结语义分割子网络参数;

步骤7:将冻结后的融合子网络和语义分割子网络分别对应的融合特征和语义特征送入融合-语义特征分类器,获取分类结果;

所述步骤7中,将冻结后的融合子网络和语义分割子网络分别对应的融合特征和语义特征打乱顺序后得到分类特征Fcla,将Fcla送入融合-语义特征分类器Dcla,获取分类结果:Icla=Dcla(Fcla)

其中,Icla表示分类结果,Icla由0、1/2和1三个值组成,0表示分类特征Fcla为融合特征,1表示分类特征Fcla为语义特征,1/2表示分类特征Fcla由融合特征、语义特征两类特征混合无法确定分类;

步骤8:计算分类损失,优化分类器参数,冻结分类器参数;

步骤9:解冻融合子网络参数,将对应的融合特征送入分类器;

步骤10:计算分类损失,优化融合子网络编码器参数后,冻结融合子网络中编码器参数;

步骤11:将冻结后的编码器特征送入解码器重构,获取融合结果;

步骤12:计算融合损失,优化解码器参数。

2.根据权利要求1所述的基于融合-语义特征分类器的红外与可见光图像融合方法,其特征在于,所述步骤1中,获取训练数据集,训练数据集中的每个图像组,都由一幅红外图像、一幅可见光图像以及对应的语义分割标签构成;其中,语义分割标签的分类数为9。

3.根据权利要求1所述的基于融合-语义特征分类器的红外与可见光图像融合方法,其特征在于,所述步骤2中,将训练数据集中的所有图像尺寸统一为256×256,然后对数据进行随机反转和随机旋转,对处理之后的图像进行归一化。

4.根据权利要求1所述的基于融合-语义特征分类器的红外与可见光图像融合方法,其特征在于,所述步骤3中,融合特征获取的具体操作如下:将预处理后的红外图像Iir和可见光图像Ivis输入融合子网络特征提取编码器Ef,并获得红外特征和可见光特征如下表示:其中,分别表示融合子网络特征提取编码器Ef中红外特征编码器和可见光特征编码器的输出特征,和拥有相同的结构,但是,两者参数不共享;编码器和分别由4层密集连接层构成,每个密集连接层均由3×3卷积,ReLU激活层和BatchNorm层组成;将和通过沿通道维度的拼接后送入解码器Df解码重构得到融合结果,具体过程表示如下:其中,If表示融合结果,cat[,]表示沿通道维度的拼接操作,解码器Df由五个卷积层构成,每个卷积层均由3×3卷积,ReLU激活层和BatchNorm层组成。

5.根据权利要求1所述的基于融合-语义特征分类器的红外与可见光图像融合方法,其特征在于,所述步骤4中,计算融合损失,优化网络参数;融合损失由纹理细节损失和内容损失组成,定义为:纹理细节损失定义为:

其中,||·||1表示l1范数;表示Sobel算子提取梯度图,内容损失定义为:

6.根据权利要求1所述的基于融合-语义特征分类器的红外与可见光图像融合方法,其特征在于,所述步骤5中,语义特征获取的具体操作如下:将预处理后的红外图像Iir和可见光图像Ivis分别输入语义分割子网络语义特征提取编码器Es,并获得红外光图像的语义特征和可见光图像的语义特征如下表示:其中,分别表示语义分割子网络中红外特征编码器和可见光特征编码器的输出特征;分别提取到红外与可见光图像的语义特征之后,将和分别送入语义解码器和分别获取红外与可见光图像的语义分割结果:其中,Is,ir表示红外图像的语义分割结果,Is,vis表示可见光图像的语义分割结果。

7.根据权利要求1所述的基于融合-语义特征分类器的红外与可见光图像融合方法,其特征在于,所述步骤6中,计算分割损失,优化网络参数,分割损失由红外图像分割损失和可见光图像分割损失组成,定义为:红外图像分割损失定义为:

可见光图像分割损失定义为:

其中,表示语义分割标签;和分别表示红外图像Iir和可见光图像Ivis语义分割的预测结果,H、W、C分别表示输出结果的高、宽和通道数。

8.根据权利要求1所述的基于融合-语义特征分类器的红外与可见光图像融合方法,其特征在于,所述步骤8中,计算分类损失,优化分类器参数,分类损失定义为:其中,表示分类标签,在特征顺序打乱前,根据特征来源生成,当特征来源于融合特征时,中的值全为0;当特征来源于语义特征时,中的值全为1。

9.根据权利要求1所述的基于融合-语义特征分类器的红外与可见光图像融合方法,其特征在于,所述步骤9中,将融合子网络中提取的特征和打乱顺序后送入冻结的Dcla;

所述步骤10中,利用步骤8中的分类损失进行计算,微调编码器和使其分类结果接近1/2;使融合编码器能够提取包含丰富融合信息和语义分割信息的特征Fir和Fvis;

所述步骤11中,将微调后的编码器和输出结果Fir和Fvis拼接后送入解码器Df解码重构得到融合结果;

所述步骤12中,计算融合损失,微调融合子网络中的解码器参数。