欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2025107635812
申请人: 昆明理工大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.基于信息补偿和预测校正的未对齐红外可见图像融合方法,其特征在于:所述方法包括:步骤1、获取用于未对齐红外可见光图像融合的训练数据集,其中固定图像为可见光图像,偏移图像为红外图像;

步骤2、将固定图像和偏移图像输入到特征编码器中,获得固定特征和偏移特征;

步骤3、将固定特征和偏移特征输入到跨模态信息补偿模块中,将这两个单模态特征分别转化为全模态固定特征和全模态偏移特征,用于减小固定特征和偏移特征间的模态差异;

步骤4、将模态差异减小后的固定特征和偏移特征输入双变形场预测校正模块中,对偏移特征进行校正,得到校正特征;

步骤5、将校正特征和固定特征输入特征融合模块中,并重构出红外可见光融合图像;

所述步骤3中,跨模态信息补偿模块的具体操作如下:

固定图像为可见光图像,偏移图像为红外图像,将未对齐的红外图像和可见光图像经过CLIP之后得到特征和,并采用广播机制将和扩展成和,使其与和有相同的尺寸;将和、固定特征和偏移特征经过跨模态补偿、3×3卷积层处理后得到全模态固定特征和全模态偏移特征:;

所述步骤4包括:

将模态差异减小后的全模态固定特征和全模态偏移特征,及待对齐图像的可见光图像梯度和红外图像梯度分别生成变形场和;变形场和的生成过程用以下公式表示:;

其中,DFPNet1、DFPNet2为类U-Net网络,DFPNet1、DFPNet2结构相同但参数不同;

将变形场和分别应用于红外图像上,得到校正后的图像;将校正后图像的梯度与的梯度进行拼接,并分别在通道和空间位置上执行全局平均池化和全局最大池化;将池化后的结果相加,并送入Sigmoid激活函数,以获得所有像素在通道和空间位置上的校正权重值;通过广播机制,将通道上的权重值和空间位置上的权重值构成可进行点乘操作的矩阵,并经过矩阵的点乘操作,得到校正和整合变形场的权重矩阵和;经过调整和整合后的校正变形场表示为:;

将校正变形场与偏移特征经过Warp操作后,得到校正特征。

2.根据权利要求1所述的基于信息补偿和预测校正的未对齐红外可见图像融合方法,其特征在于:所述步骤1中,所述训练数据集中的每个红外可见光图像对由一张红外图像和一张可见光图像组成;每个模态的图像的大小均为256×256;

对事先对齐的红外可见光图像对施加相同的偏移得到另一对对齐的偏移红外可见光图像对,取作为未对齐的红外可见光图像对,固定图像为可见光图像,偏移图像为红外图像;预处理包括:对数据进行随机翻转、随机旋转和偏移、对处理之后的图像进行归一化。

3.根据权利要求1所述的基于信息补偿和预测校正的未对齐红外可见图像融合方法,其特征在于:所述步骤2包括:固定图像为可见光图像,偏移图像为红外图像,将可见光图像和红外图像分别输入固定特征编码器和偏移特征编码器中,获得固定特征和偏移特征;固定特征和偏移特征生成过程表示为:;

固定特征编码器和偏移特征编码器都由4个3×3卷积层和ReLU激活函数构成的特征提取块通过密集连接的方式相连,最后再通过Concat操作和1×1卷积层组成。

4.根据权利要求1所述的基于信息补偿和预测校正的未对齐红外可见图像融合方法,其特征在于:所述步骤5中,特征融合模块的处理流程包括:将校正特征和固定特征通过Sigmoid激活函数处理,得到权重图和;将权重图和与校正特征和固定特征进行拼接,并通过一个3×3卷积层进一步提取特征;对每个通道上的特征联合使用全局平均池化和全局最大池化操作,并将池化后的结果相加后送入多层感知机;最后,经过Sigmoid激活函数处理,获得能够表达每个通道重要性的权重和;将红外和可见光两个分支经过全局最大池化后的输出相加,并将相加的结果送入多层感知机,随后通过Sigmoid激活函数,获得红外图像和可见光图像在相同通道位置上的权重;将权重分别添加到红外和可见光分支的原始权重和中,从而得到这两个分支最终的权重和:;

根据和与校正特征和固定特征,最终得到融合特征;融合特征表示为:;

其中和是分别由和广播而成,表述矩阵逐元素相乘;

将融合特征送入由一个3×3卷积层和Tanh激活函数构成的解码器,得到融合图像。

5.根据权利要求1所述的基于信息补偿和预测校正的未对齐红外可见图像融合方法,其特征在于:所述步骤3还包括:定义了一致性损失来优化3×3卷积层,一致性损失表示为:;

其中,表示范数,为融合特征,为全模态固定特征,为全模态偏移特征;

和由全模态特征表示学习得到;具体操作如下:

将这两对对齐的红外可见光图像对和分别输入到参数共享的特征编码器和中,提取出的特征被送入步骤5的特征融合模块进行融合,最终得到融合后的全模态的融合特征和。

6.根据权利要求4所述的基于信息补偿和预测校正的未对齐红外可见图像融合方法,其特征在于:所述步骤5还包括:使用纹理损失来保留红外图像和可见光图像的纹理细节;纹理损失的计算公式如下:;

其中,、、分别表示融合图像、红外图像、可见光图像的梯度,表示逐像素最大值选择;

在图像内容信息的保留方面,定义内容损失将融合图像与源图像在像素层面上进行拉近,内容损失的定义如下:;

;

其中,和分别为红外图像和可见光图像的显著性矩阵,和分别为红外图像和可见光图像的权重图。

7.基于信息补偿和预测校正的未对齐红外可见图像融合系统,其特征在于,所述系统包括:用于执行如权利要求1至6任一权利要求所述的基于信息补偿和预测校正的未对齐红外可见图像融合方法的模块。

8.一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至6任一项所述基于信息补偿和预测校正的未对齐红外可见图像融合方法。