1.一种红外图像与可见光图像的融合方法,其特征在于:包括如下步骤:
步骤S1、构建图像融合网络模型,所述图像融合网络模型包括两深度卷积网络、分别与两深度卷积网络的中间层连接的交叉卷积网络、融合模块、以及图像重构网络,两深度卷积网络分别用于进行红外图像和可见光图像的语义信息提取,以生成红外图像特征和可见光图像特征,交叉卷积网络用于生成红外图像与可见光图像的互补特征,融合模块用于将红外图像特征、可见光图像特征和互补特征融合以生成融合特征,图像重构网络用于对融合特征进行重构处理,以生成融合图像;
步骤S2、获取红外图像和对应的可见光图像以形成训练数据集,利用训练数据集,以损失函数对融合网络模型进行训练,损失函数与可见光图像与融合图像的结构相似度损失、基于红外图像与对应的可见光图像的语义热力图掩码区域的结构相似度损失、图像强度损失和图像梯度损失有关;
步骤S3、将待融合的红外图像和对应的可见光图像输入经步骤S2训练后的融合网络模型,以得到最终的融合图像;
所述步骤S1中,所述深度卷积网络包括依次连接的初始化卷积模块和星型模块,星型模块包括依次连接的第一深度卷积层、中间层和跳跃连接层,中间层由两个并接的中间卷积构成,跳跃连接层由一个连接首尾的由Sobel算子与第一卷积层构成,所述交叉卷积网络包括依次连接的第二卷积层和第二深度卷积层,第二卷积层分别与两深度卷积网络的中间层连接;
所述步骤S2中,将红外图像和对应的可见光图像输入多模态语义分割神经网络,通过反向梯度传播机制,生成语义热力图掩码,以形成红外图像与对应的可见光图像的语义热力图掩码区域;
所述步骤S2中,损失函数表示为,其中,表示可见光图像与融合图像的结构相似度损失,表示基于红外图像与对应的可见光图像的语义热力图掩码区域的结构相似度损失,表示图像强度损失,表示图像梯度损失,和表示红外图像与对应的可见光图像输入多模态语义分割神经网络,并进行前向传播对卷积特征图进行可视化后,根据结构相似度计算的权重。
2.根据权利要求1所述的一种红外图像与可见光图像的融合方法,其特征在于:所述步骤S1中,所述图像重构网络包括依次连接的两第一卷积模组和第二卷积模组,第一卷积模组包括第三卷积层和LeakyRelu激活函数,第二卷积模组包括第四卷积层和Tanh激活函数。
3.根据权利要求2所述的一种红外图像与可见光图像的融合方法,其特征在于:所述步骤S1中,融合模块将红外图像特征和可见光图像特征进行通道维度上相乘后,再与互补特征相加,以生成所述融合特征。
4.根据权利要求3所述的一种红外图像与可见光图像的融合方法,其特征在于:所述可见光图像与融合图像的结构相似度损失表示为,其中,表示可见光图像,表示融合图像,,表示设置在可见光图像中的滑动窗口的均值,表示设置在融合图像中的滑动窗口的均值,为与之间的协方差,和为常数,为对应的方差,为对应的方差,取值范围为[-1,1]。
5.根据权利要求4所述的一种红外图像与可见光图像的融合方法,其特征在于:所述基于红外图像与对应的可见光图像的语义热力图掩码区域的结构相似度损失表示为,其中,表示红外图像,表示融合图像,,H为融合图像的高,W为融合图像的宽,为经过SSIM()计算后的像素坐标(i,j)的结构相似性的数值,为像素坐标(i,j)的掩码的数值。
6.根据权利要求5所述的一种红外图像与可见光图像的融合方法,其特征在于:所述图像强度损失表示为,其中,表示红外图像的像素坐标(i,j),表示可见光图像的像素坐标(i,j),表示融合图像的像素坐标(i,j),H和W分别表示红外图像、可见光图像、融合图像的高度和宽度,表示求绝对值。
7.根据权利要求6所述的一种红外图像与可见光图像的融合方法,其特征在于:所述图像梯度损失表示为,其中,表示图像的梯度,表示红外图像的像素坐标(i,j),表示可见光图像的像素坐标(i,j),表示融合图像的像素坐标(i,j),H和W分别表示红外图像、可见光图像、融合图像的高度和宽度,表示求绝对值。