1.一种基于双向交替融合策略的可见光-热红外显著目标检测方法,其特征在于,包括以下步骤:步骤S1、获取数据集,数据集中包括可见光图像和热红外图像,将数据集按比例划分为训练集和测试集;
对于任意一对可见光图像-热红外图像,使用共享预训练权重的特征提取器来提取这两种模态图像的对应多层特征:对应的可见光多层特征步骤S2、首先,对于步骤S1所得可见光多层特征步骤S3、将S2生成的特异性信息E步骤S4、将S2生成的特异性信息E
2.根据权利要求书1所述的基于双向交替融合策略的可见光-热红外显著目标检测方法,其特征在于,所述步骤S2计算特异性信息的详细方法如下:首先,计算
R
其中1
其次,对相关性矩阵R
接着,通过softmax激活函数从中筛选需擦除的区域生成新的矩阵G,G的计算公式为:G=R·B;·为元素乘法;
最后,基于二值化掩码B和矩阵G生成
3.根据权利要求书1所述的基于双向交替融合策略的可见光-热红外显著目标检测方法,其特征在于,所述步骤S3获得全局上下文信息G将高层特征f
计算公式表示如下:
P
其中flatten为PyTorch库中自带的函数,+为元素级相加操作,H,W,C分别对应分辨率大小以及通道数;
其中MSA为多头注意力,DConv(*)为
4.根据权利要求书1所述的基于双向交替融合策略的可见光-热红外显著目标检测方法,其特征在于,所述步骤S3计算全局上下文信息G将高层特征f
P
5.根据权利要求书1所述的基于双向交替融合策略的可见光-热红外显著目标检测方法,其特征在于,所述步骤S4中解码特征首先,将f
其中'+'为元素级相加操作,·表示为元素级乘法;
然后,将高层信息G
其中split(*)表示通道维度的划分操作,up(*)表示为×2上采样操作,Conv(*)表示为由卷积核大小为3的卷积,LN归一化层和ReLu激活函数组成,softmax表示为PyTorch库中的激活函数,接着,将G
计算过程如下:
其中up(*)表示为×2上采样操作,Conv(*)表示为由卷积核大小为3的卷积,LN归一化层和ReLu激活函数组成,'+'为元素级相加操作;
最后,通过的不断交替充分利用每层特征从而生成新的解码特征
6.根据权利要求书1所述的基于双向交替融合策略的可见光-热红外显著目标检测方法,其特征在于,所述步骤S4中解码特征
7.根据权利要求书1所述的基于双向交替融合策略的可见光-热红外显著目标检测方法,其特征在于,所述步骤S4得到显著目标预测图P后,将真值图记为G,训练阶段总损失函数L:L=L
所述L
其中N为像素总数,G
所述L
P
所述L
|P|表示预测图中显著目标区域的像素数量,|G|表示真值标签图中显著目标检测区域的像素数量,|P∩G|表示P与G之间的交集区域的像素数量。