1.一种红外图像与可见光图像融合方法,其特征在于,包括:将红外图像与可见光图像进行归一化处理,并分别输入至单模态特征提取分支网络,所述单模态特征提取分支网络包括特征提取模块以及混合注意力机制模块;
利用残差连接的特征提取模块提取红外图像的基础特征与可见光图像的基础特征,并获得红外特征以及可见光特征;
混合注意力机制模块运算步骤:将红外特征以及可见光特征输入至混合注意力机制模块,并分别获取红外全局特征与红外局部特征,以及可见光全局特征以及可见光局部特征;
将红外全局特征与红外局部特征进行矩阵相加运算以及矩阵相乘运算,并对运算结果进行拼接处理以及降维处理后,利用跳跃连接的方式与红外特征进行加法运算,获得单模态红外特征;
将可见光全局特征与可见光局部特征进行矩阵相加运算以及矩阵相乘运算,并对运算结果进行拼接处理以及降维处理后,利用跳跃连接的方式与可见光特征进行加法运算,获得单模态可见光特征;
将第一级卷积得到的单模态红外特征与单模态可见光特征相加,并输入至Transformer模块中进行信息整合,获得多模态红外特征以及多模态可见光特征;
混合模态特征提取步骤:利用SIM模块将多模态红外特征与多模态可见光特征根据对应的混合注意力机制模块所提取到的单模态红外特征与单模态可见光特征生成相应的相关性权重,并分别注入至单模态红外特征与单模态可见光特征中;
判断单模态特征提取分支网络的级数是否小于预设级数,若是,循环混合注意力机制模块运算步骤至混合模态特征提取步骤,若否,将最后一级卷积得到的单模态红外特征以及单模态可见光特征与在最后一层Transformer模块中得到的多模态红外特征与多模态可见光特征分别相加之后再进行拼接处理;
将拼接后的特征输入至解码器网络,并生成融合图像,其中,所述混合模态特征提取步骤包括以下步骤:
将多模态红外特征与多模态可见光特征进行3x3卷积运算;
将降维后的多模态红外特征与单模态红外特征进行通道拼接,并进行3x3卷积运算;同时将降维后的多模态可见光特征与单模态可见光特征进行通道拼接,并进行3x3卷积运算;
分别使用通道注意力模块将卷积后的红外特征与可见光特征学习到缩放矩阵λ,缩放矩阵λ的学习为:λ=SE(Conv3×3(C(Fiout,(Conv3×3(Fitrans)))))λ表示缩放矩阵,SE表示通道注意力模块,Fitrans表示第i级Transformer模块的输出,Fiout表示单模态特征提取分支网络第i级的输出,Conv表示卷积运算,C表示通道拼接运算;
使用3x3卷积分别将降维后的多模态红外特征与降维后的多模态可见光特征进行偏置矩阵β的学习,偏置矩阵β的学习为:β=Conv3×3(Conv3×3(Fitrans))β表示偏置矩阵,Fitrans表示第i级Transformer模块的输出,Conv表示卷积运算;
将层归一化的单模态红外特征与缩放矩阵λ相乘之后进行相加再加上偏置矩阵β,以注入至单模态红外特征的下一级中;同时将层归一化的单模态可见光特征与缩放矩阵λ相乘之后进行相加再加上偏置矩阵β,以注入至单模态可见光特征的下一级中;
公式为:
其中,表示单模态特征提取分支网络第i+1级的输入,Fiout表示单模态特征提取分支网络第i级的输出,λ表示缩放矩阵,β表示偏置矩阵。
2.根据权利要求1所述的红外图像与可见光图像融合方法,其特征在于,所述利用残差连接的特征提取模块提取红外图像的基础特征与可见光图像的基础特征,并获得红外特征以及可见光特征的步骤中,利用3x3卷积对红外图像与可见光图像分别进行卷积处理;
利用1x1卷积对卷积后的红外图像与可见光图像分别进行卷积处理,并获得红外特征以及可见光特征。
3.根据权利要求1所述的红外图像与可见光图像融合方法,其特征在于,所述混合注意力机制模块运算步骤中,获取红外全局特征的步骤包括:将红外特征输入至混合注意力机制模块,并作为查询向量Q;
利用3x3卷积对红外特征进行卷积处理,并获得键向量K;
利用1x1卷积对红外特征进行卷积处理,并获得值向量V;
将查询向量Q与键向量K进行通道拼接,并将连续两个1x1卷积后获得注意力矩阵;
将注意力矩阵进行转置处理,获取转置矩阵;
将注意力矩阵与转置矩阵进行矩阵相乘运算,并经softmax函数运算,获得全局通道注意力的权重矩阵;
将值向量V进行矩阵转置运算以及transpose运算,并将运算所得矩阵与权重矩阵进行矩阵相乘运算;
将相乘所得矩阵先后进行转置运算以及transpose运算,并获得红外全局特征。
4.根据权利要求1所述的红外图像与可见光图像融合方法,其特征在于,所述混合注意力机制模块运算步骤中,获取红外局部特征的步骤包括:将红外特征输入至混合注意力机制模块,并作为查询向量Q;
利用3x3卷积对红外特征进行卷积处理,并获得键向量K;
利用1x1卷积对红外特征进行卷积处理,并获得值向量V;
将查询向量Q与键向量K进行通道拼接,并将连续两个1x1卷积后获得注意力矩阵;
将注意力矩阵分别进行全局平均池化处理以及全局最大池化处理,并将所得特征向量进行通道拼接处理;
使用1x1卷积对拼接后的矩阵进行降维处理,并将所得矩阵与值向量V进行逐元素乘法运算,获得局部通道注意力的红外局部特征。
5.根据权利要求1所述的红外图像与可见光图像融合方法,其特征在于,所述混合注意力机制模块运算步骤中,获取可见光全局特征的步骤包括:将可见光特征输入至混合注意力机制模块,并作为查询向量Q;
利用3x3卷积对可见光特征进行卷积处理,并获得键向量K;
利用1x1卷积对可见光特征进行卷积处理,并获得值向量V;
将查询向量Q与键向量K进行通道拼接,并将连续两个1x1卷积后获得注意力矩阵;
将注意力矩阵进行转置处理,获取转置矩阵;
将注意力矩阵与转置矩阵进行矩阵相乘运算,并经softmax函数运算,获得全局通道注意力的权重矩阵;
将值向量V进行矩阵转置运算以及transpose运算,并将运算所得矩阵与权重矩阵进行矩阵相乘运算;
将相乘所得矩阵先后进行转置运算以及transpose运算,并获得可见光全局特征。
6.根据权利要求1所述的红外图像与可见光图像融合方法,其特征在于,所述混合注意力机制模块运算步骤中,获取可见光局部特征的步骤包括:将可见光特征输入至混合注意力机制模块,并作为查询向量Q;
利用3x3卷积对可见光特征进行卷积处理,并获得键向量K;
利用1x1卷积对可见光特征进行卷积处理,并获得值向量V;
将查询向量Q与键向量K进行通道拼接,并将连续两个1x1卷积后获得注意力矩阵;
将注意力矩阵分别进行全局平均池化处理以及全局最大池化处理,并将所得特征向量进行通道拼接处理;
使用1x1卷积对拼接后的矩阵进行降维处理,并将所得矩阵与值向量V进行逐元素乘法运算,获得局部通道注意力的可见光局部特征。
7.根据权利要求3或4所述的红外图像与可见光图像融合方法,其特征在于,利用基于LoG算子的特征加强模块对注意力矩阵进行加强处理,其包括以下步骤:使用高斯标准差为σ的二维LoG函数对红外图像进行低通滤波;LoG函数为:其中,(x,y)表示像素的横坐标和纵坐标,σ表示高斯标准差;
将两倍的注意力矩阵减去LoG算子卷积红外注意力矩阵,并获得加强的红外注意力矩阵,表示加强的红外注意力矩阵,Fir(x,y)表示红外注意力矩阵。
8.根据权利要求5或6所述的红外图像与可见光图像融合方法,其特征在于,利用基于LoG算子的特征加强模块对注意力矩阵进行加强处理,其包括以下步骤:使用高斯标准差为σ的二维LoG函数对可见光图像进行低通滤波;LoG函数为:其中,(x,y)表示像素的横坐标和纵坐标,σ表示高斯标准差;
将注意力矩阵加上LoG算子卷积可见光注意力矩阵,并获得加强的可见光注意力矩阵,其中,表示加强的可见光注意力矩阵,Fvis(x,y)表示可见光注意力矩阵。
9.根据权利要求1所述的红外图像与可见光图像融合方法,其特征在于,所述将拼接后的特征输入至解码器网络,并生成融合图像的步骤之后,还包括步骤:使用红外图像生成掩码Mir,掩码Mir表示为:
其中,Iir表示红外图像,表示红外图像的均值;
计算红外图像与融合图像或者可见光图像与融合图像之间的皮尔逊相关系数,公式为:其中,(i,j)表示像素纵坐标和横坐标,H,W表示图像的高和宽,If(i,j)表示融合图像在(i,j)处的像素值,表示融合图像像素均值,Ix(i,j)表示红外图像或可见光图像在(i,j)处的像素值,表示源图像像素均值;
计算相似性损失函数,其具体包括以下步骤:
将掩码Mir分别与源红外图像Iir和融合图像If相乘,并获得红外图像的显著性区域与融合图像的显著性区域;
计算红外图像的显著性区域与融合图像的显著性区域的显著相关系数;
将可见光图像的纹理信息区域分别与可见光图像和融合图像相乘,可见光图像的纹理信息区域为(1-Mir);
计算可见光图像的纹理信息区域与融合图像的纹理相关系数;
将显著相关系数与纹理相关系数求和,并获得总的相似性损失;总的相似性损失的公式为:Lcc=1-CC(Mire If,Mire Iir)+1-CC((1-Mir)e If,(1-Mir)e Ivi)其中,Lcc表示相似性损失,Mir表示掩码,If表示融合图像,e表示对应元素相乘,Iir表示红外图像,Ivi表示可见光图像;
计算强度损失,其包括以下步骤:
计算红外图像的显著性区域与融合图像的显著性区域的差值的第一曼哈顿距离;
计算可见光图像的纹理信息区域与融合图像的纹理的差值的第二曼哈顿距离;
将第一曼哈顿距离与第二曼哈顿距离相加,获得强度损失;强度损失的公式为:Lpixel=||(Mire If)-(Mire Iir)||1+||((1-Mir)e If)-((1-Mir)e Ivi)||1其中,Lpixel表示强度损失,Mir表示掩码,If表示融合图像,e表示对应元素相乘,Iir表示红外图像,Ivi表示可见光图像;|| ||1表示曼哈顿距离;
计算纹理损失,其公式为:
其中表示融合图像梯度的绝对值,表示可见光图像梯度的绝对值,表示红外图像梯度的绝对值,max()表示求两者中的最大值;
计算总的损失函数,其公式为:
Ltotal=aLcc+μLpiexl+δLtexture其中,α,μ,δ表示设定参数,Lcc表示相似性损失,Lpixel表示强度损失,Ltexture表示纹理损失。