1.一种红外图像与可见光图像的融合方法,其特征在于,包括:采集可见光图像以及对应的红外图像,构建数据集;
将可见光图像与红外图像进行归一化处理;
多级特征提取步骤:利用残差密集块提取可见光图像与红外图像的特征,获得第一可见光特征与第一红外特征;
模态融合运算步骤:将经过残差密集块的每级第一红外特征与第一可见光特征输入至模态融合模块,该模态融合模块通过交叉全局注意力机制获取第二红外特征与第二可见光特征;
加权运算步骤:将第二可见光特征与对应输入的第一可见光特征加权后输入至下一层残差密集块,同时将第二红外特征与对应输入的第一红外特征加权后输入至下一层残差密集块;
判断残差密集块提取分支网络的级数是否小于预设级数,若是,循环多级特征提取步骤至加权运算步骤;若否,将最后一级输出的第二红外特征和第二可见光特征与对应输入的第一红外特征和第一可见光特征分别相加并结合;
将相加结合后的特征输入至解码器恢复图像特征,以获得融合图像。
2.根据权利要求1所述的红外图像与可见光图像的融合方法,其特征在于,所述多级特征提取步骤,具体包括:使用两个具有残差密集连接的3×3卷积作为主通道分别初步提取可见光图像与红外图像的特征,获得初级可见光特征与初级红外特征;
使用1×1卷积调控通道数,获得主通道可见光特征与主通道红外特征;
采用一阶导数算子提取可见光图像与红外图像中的信息,获得一阶可见光特征与一阶红外特征,具体如下:其中,G
采用二阶导数算子提取可见光图像与红外图像中的信息,获得二阶可见光特征与二阶红外特征,具体如下:其中,f为输入图像,
将二阶可见光特征与二阶红外特征进行最大池化处理后,再与输入的可见光图像与红外图像分别相加,获得中间可见光特征与中间红外特征;
将中间可见光特征与一阶可见光特征相乘,同时将中间红外特征与一阶红外特征相乘;
利用1×1卷积相乘后的特征,获得加强红外特征与加强可见光特征;
将加强可见光特征与主通道可见光特征相加处理,并且将加强红外特征与主通道红外特征相加处理,获得第一可见光特征与第一红外特征;
所述多级特征提取步骤的整体算法为:
conv
conv
其中,conv(·)为卷积操作,F
3.根据权利要求1所述的红外图像与可见光图像的融合方法,其特征在于,所述模态融合运算步骤中,获取第二可见光特征的步骤包括:利用3x3卷积对输入的第一可见光特征以及第一红外特征进行卷积处理,分别获得键向量K利用1x1卷积对输入的第一可见光特征以及第一红外特征进行卷积处理,分别获得值向量V将输入的第一可见光特征作为Q
将拼接后的特征输入连续两个1×1卷积来产生注意力矩阵;
将卷积结果利用softmax函数处理并与红外图像的值向量V将相乘结果与第一红外特征的键向量K
4.根据权利要求1所述的红外图像与可见光图像的融合方法,其特征在于,所述模态融合运算步骤中,获取第二红外特征的步骤包括:利用3x3卷积对输入的第一可见光特征以及第一红外特征进行卷积处理,分别获得键向量K利用1x1卷积对输入的第一可见光特征以及第一红外特征进行卷积处理,分别获得值向量V将输入的第一红外特征作为Q
将拼接后的特征输入连续两个1×1卷积来产生注意力矩阵;
将卷积结果利用softmax函数处理并与可见光图像的值向量V将相乘结果与第一可见光特征的键向量K
5.根据权利要求1所述的红外图像与可见光图像的融合方法,其特征在于,在所述模态融合运算步骤之后,还包括步骤:将第二红外特征与第二可见光特征进行全局平均池化操作;
基于通道注意力操作生成具有通道注意力的特征图;
具有通道注意力的特征图通过softmax函数生成两个可学习的参数:ω
其中,ω
将生成的可学习参数与输入的第二红外特征与第二可见光特征进行相乘;
将生成结果进行连接并与输入的第二红外特征与第二可见光特征进行相加,输出第三可见光特征与第三红外特征:其中,
6.根据权利要求5所述的红外图像与可见光图像的融合方法,其特征在于,所述将第二红外特征与第二可见光特征进行全局平均池化操作的步骤中:对于输入维度为H×W×C的第二红外特征图以及第二可见光特征图进行空间特征压缩,在空间维度上实现全局平均池化,得到1×1×C的第一可见光特征图以及第一红外特征图。
7.根据权利要求6所述的红外图像与可见光图像的融合方法,其特征在于,在所述基于通道注意力操作生成具有通道注意力的特征图的步骤中:通过FC全连接层学习,得到具有通道注意力的第二可见光特征图以及第二红外特征图,其维度还是1×1×C;
将通道注意力1×1×C的第一可见光特征图、原始输入H×W×C的第二可见光特征,进行逐通道乘以可学习参数ω
8.根据权利要求1所述的红外图像与可见光图像的融合方法,其特征在于,在所述将最后一级输出的第二红外特征和第二可见光特征与对应输入的第一红外特征和第一可见光特征分别相加,并结合后输入至解码器恢复图像特征,以获得融合图像的步骤中:将结合后的特征输入至解码器,利用五级3×3卷积核依次进行卷积运算,前四级采用LeakyReLU激活函数,最后一级采用Tanh激活函数将数值输出范围在[-1,1]之间。
9.一种电子设备,其特征在于,包括
存储器,用于存储可执行程序代码;以及
处理器,连接至所述存储器,通过读取所述可执行程序代码来运行与所述可执行程序代码对应的计算机程序,以执行如权利要求1-8中任一项所述的红外图像与可见光图像的融合方法的步骤。
10.一种红外图像与可见光图像的融合系统,其特征在于,包括权利要求9所述的电子设备。