1.一种基于特征增强的红外‑可见光融合方法,其特征在于,包括如下步骤:数据采集:采集多目标数据集,对所述多目标数据集进行预处理,所述多目标数据集中包括可见光图像和红外图像;
特征提取:构建双流主干特征提取网络,所述双流主干特征提取网络包括结构相同的两个分支,将所述可见光图像和红外图像分别送入两个分支提取深层特征,得到可见光特征和红外特征;
特征融合:构建特征融合网络,所述特征融合网络包括交叉特征增强模块和长距离依赖融合模块,所述交叉特征增强模块包括串联设置的通道注意力分支和空间注意力分支,将所述可见光特征和红外特征送入所述通道注意力分支进行增强,将增强前的可见光特征与经所述通道注意力分支增强后的红外特征相加得到第一特征,将增强前的红外特征与经所述通道注意力分支增强后的可见光特征相加得到第二特征;将所述第一特征和所述第二特征送入所述空间注意力分支进行增强,将所述第一特征与经所述空间注意力分支增强后的第二特征相加,得到所述可见光特征的最终输出,将所述第二特征与经所述空间注意力分支增强后第一特征相加,得到所述红外特征的最终输出;将所述可见光特征和所述红外特征的最终输出送入所述长距离依赖融合模块,基于Swin Transformer模型,通过位置编码的相关性来进行融合。
2.根据权利要求1所述的基于特征增强的红外‑可见光融合方法,其特征在于,所述预处理的方式为:采用随机区域生成图像掩码的数据增强方法,对所述多目标数据集中的可见光图像和红外图像进行处理,具体的过程为:根据图像的大小将图像分成10×10个棋盘格,并在每行中以30%的概率选择两个设置为零的方块作为图像掩码;然后将所述图像掩码按行分割为两个互补的遮罩,其中一个作为所述可见光图像的遮罩,另一个作为红外图像的遮罩,遮罩的生成过程表示为:Generatemask=RGBmask∪IRmask;
RGBmask|IRmask=1;
式中,RGBmask是用于可见光图像的遮罩,IRmask是用于红外图像的遮罩,Generatemask是总的遮罩。
3.根据权利要求2所述的基于特征增强的红外‑可见光融合方法,其特征在于,所述双流主干特征提取网络为双流主干的YOLOv5特征提取网络,提取得到的可见光特征表示为红外特征表示为 表示三维矩阵;W为宽度;H为宽度;
C表示通道数。
4.根据权利要求3所述的基于特征增强的红外‑可见光融合方法,其特征在于,所述通道注意力分支的增强过程为:在一个方向q上完全折叠输入的特征,同时在方向q的正交方向v上保持高分辨率,运算过程表示为:WRGB q=σ1(F1(XRGB));WRGB v=σ2(F2(XRGB));
WIR q=σ1(F1(XIR));WIR v=σ2(F2(XIR));
式中,WRGB q表示可见光特征在q方向上的信息;WRGB v表示可见光特征在v方向上的信息;
WIR q表示红外特征在q方向上的信息;WIR v表示红外特征在v方向上的信息;σ1和σ2均表示张量整形算子;F1(·)和F2(·)均表示1×1的卷积操作;
以WRGB q和WIR q分别代表可见光特征和红外特征的权重,输入到Softmax函数进行分类,输出可见光特征和红外特征的权重分布,计算过程表示为:式中,WRGB k表示可见光特征的权重;WIR k表示红外特征的权重;
将信息WRGB v乘以权重WRGB k,将信息WIR v乘以权重WIR k,然后进行1×1卷积操作,采用标准化处理将通道维度由C/2升级为C,并使用Sigmoid函数将所有参数保持在0‑1范围内,计算过程表示为:WRGB z=Sigmoid(σ3(F3(WRGB v×WRGB k)));
WIR z=Sigmoid(σ3(F3(WIR v×WIR k)));
式中,WRGB z表示可见光特征在z方向上的信息;WIR z表示红外特征在z方向上的信息;
“×”表示矩阵点积运算;F3(·)表示1×1的卷积操作;σ3表示张量重塑算子;
然后将XRGB和WRGB z进行信道级相乘,得到噪声较小的特征WRGB ln;将XIR和WIR z进行信道级相乘,得到噪声较小的特征WIR ln,计算过程表示为:WRGB ln=XRGB⊙WRGB z;WIR ln=XIR⊙WIR z;
式中, ⊙表示哈达玛积运算;
将特征WRGB ln与XRGB相加来进行重新校准增强,获得第一特征ARGB ch;将特征WRGB ln与XIR相加来进行重新校准增强,获得第二特征AIR ch,计算过程表示为:ARGB ch=WIR ln+XRGB;AIR ch=WRGB ln+XIR。
5.根据权利要求4所述的基于特征增强的红外‑可见光融合方法,其特征在于,所述空间注意分支的增强过程为:在方向q上完全折叠输入的特征,同时在方向v上保持高分辨率,运算过程表示为:ARGB q=σ4(FGP(F4(ARGB ch)));ARGB v=σ5(F5(ARGB ch));
AIR q=σ4(FGP(F4(AIR ch)));AIR v=σ5(F5(AIR ch));
式中,σ4和σ5均表示张量重塑算子;F4(·)和F5(·)均表示1×1卷积操作;FGP(·)表示全局汇集算子,以ARGB q和AIR q分别代表第一特征和第二特征的权重,输入到Softmax函数进行分类,输出第一特征和第二特征的权重分布,计算过程表示:式中,ARGB k表示第一特征的权重,AIR k表示第二特征的权重;
将信息ARGB v乘以权重ARGB k,将信息AIR v乘以权重AIR k,然后依次进行信息完成、重塑和Sigmoid函数:ARGB z=Sigmoid(σ6(ARGB v×ARGB k));
AIR z=Sigmoid(σ6(AIR v×AIR k));
1×HW 1×HW
式中,ARGB z∈R ;AIR z∈R 分别表示第一特征和第二特征的空间门;
将ARGB ch和ARGB z相乘,将AIR ch和AIR z相乘,分别获得第一特征和第二特征的空间增强特征ARGB ln和AIR ln,计算过程表示为:ARGB ln=ARGB ch⊙ARGB z;AIR ln=AIR ch⊙AIR z;
C×H×W C×H×W
式中,ARGB ln∈R ;AIR ln∈R ;
将特征AIR ln与ARGB ch相加来进行重新校准增强,获得可见光特征的最终输出XRGB out;将特征ARGB ln与AIR ch相加来进行重新校准增强,获得红外特征的最终输出XIR out,计算过程表示为:XRGB out=AIR ln+ARGB ch;XIR out=ARGB ln+AIR ch。
6.根据权利要求5所述的基于特征增强的红外‑可见光融合方法,其特征在于,特征融合的过程为:使用移位窗口划分方法,将特征图交替划分为M×M维,如果要素图大小小于M×M,则将其填充为M×M的大小;然后,下一个模块的窗口将相对偏移(M/2,M/2)像素;采用这种计算方法,计算公式如下:i i o
式中,F表示是可见光和红外特征的联合输入,F={XRGB out,XIR out};F是transformer块的输出特征; 和 是中间变量;W‑MSA和MW‑MSA分别是窗口多头部自我注意力操作和屏蔽窗口多头部自身注意力操作;
考虑到窗口分割后的部分特征,在自我注意力计算过程中,给定输入可见光特征图FRGB
8×8×C 8×8×C
∈R 和红外特征图FIR∈R ;对每个特征图进行展平,并对矩阵的顺序进行排列以获
64×C 64×C 128×C
得句子IRGB∈R 和IIR∈R ;然后提供输入句子I∈R 连接句子IRGB和IIR;将输入语句I投影到三个权重矩阵中,以获得一组查询Q、键K和值V:Q K V
Q=IW,K=IW,V=IW;
Q C×128 K C×128 V C×128
式中,W∈R 、W∈R 和W∈R 均表示权重矩阵。
自我注意力计算过程如下:
式中,d表示是查询Q或键K的维度;FPRE表示可见光和红外特征的位置编码,FPRE包含四种位置信息:可见光位置信息RPERGB、红外位置信息RPEIR、可见光和红外相对位置信息RPERGB‑IR、红外和可见光相对位置信息RPEIR‑R;
式中, T表示矩阵转置操作;
经过以上运算,得到了深度交互后输出的可见光特征XRGB out和红外特征XIR out,并将二者相加得到最终融合特征Ffusion:Ffusion=XRGB out+XIR out。
7.一种基于特征增强的红外‑可见光融合系统,其特征在于,包括:
数据采集模块:用于采集多目标数据集,对所述多目标数据集进行预处理,所述多目标数据集中包括可见光图像和红外图像。
特征提取模块:用于构建双流主干特征提取网络,所述双流主干特征提取网络包括结构相同的两个分支,将所述可见光图像和红外图像分别送入两个分支提取深层特征,得到可见光特征和红外特征。
及特征融合模块:用于构建特征融合网络,所述特征融合网络包括交叉特征增强模块和长距离依赖融合模块,所述交叉特征增强模块包括串联设置的通道注意力分支和空间注意力分支,将所述可见光特征和红外特征送入所述通道注意力分支进行增强,将增强前的可见光特征与经所述通道注意力分支增强后的红外特征相加得到第一特征,将增强前的红外特征与经所述通道注意力分支增强后的可见光特征相加得到第二特征;将所述第一特征和所述第二特征送入所述空间注意力分支进行增强,将所述第一特征与经所述空间注意力分支增强后的第二特征相加,得到所述可见光特征的最终输出,将所述第二特征与经所述空间注意力分支增强后第一特征相加,得到所述红外特征的最终输出;将所述可见光特征和所述红外特征的最终输出送入所述长距离依赖融合模块,基于Swin Transformer模型,通过位置编码的相关性来进行融合。
8.一种可读存储介质,其特征在于,所述可读存储介质中存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现权利要求1‑6任一项所述的基于特征增强的红外‑可见光融合方法的步骤。