1.一种基于条件生成对抗网络的可见光-热红外显著目标检测方法,其特征在于:包括以下步骤:步骤S1、输入同一目标的可见光图像和对应热红外图像,使用两个生成器,每个生成器均含有编码器、解码器和协同注意力模块CAM;且每个生成器均采用共享参数的编码器解码器来处理可见光模态和热红外模态的特征,编码器编码获得输入图像两种模态的多级特征,并将这些特征标记为f1~f5;
步骤S2、对于两个生成器,分别将各自所得最深层特征f5经过全局上下文信息模块GCIM处理得到全局特征fglobal,然后将步骤S1所得到的f1~f5和步骤S2得到的全局特征fglobal通过解码器处理;然后使用协同注意力模块CAM来融合两个模态的特征;
步骤S2解码器处理特征f1~f5和全局特征fglobal的具体过程为:如果i=1,则Foutput=Conv(Fi+fglobal);
如果1
如果i=5,则Fi=Conv(fglobal);
其中,fi是编码器不同层的提取特征,i表示1~5层特征,Fi是对应层的解码器特征,Conv表示一层3*3卷积和ReLU激活函数实现非线性激活;i+1层特征通过上采样操作保持和i层特征大小一致;
步骤S2中使用协同注意力模块CAM融合两个模态特征的过程中,使用通道注意力挖掘模态自身的特征,分别得到两个模态的通道注意力,具体为:CAk=σ(M(Fk(p,q)));
k表示可见光模态RGB或者热红外模态T,M表示最大池化操作,p和q是指像素;
利用通道注意力融合两个模态特征:
表示对应像素乘;得到融合特征ffuse,再使用空间注意力进一突出显著目标区域,空间注意力表示为:SAk=σ(Conv(Ffuse(p,q)))
最后的输出特征表示为:
*表示3*3卷积操作,W是对应的卷积参数;
步骤S3、两个生成器分别得到预测的显著图S1和显著图S2,最后整合两个生成器的输出特征并经过卷积得到最终显著图Sfinal;
步骤S4、使用一个判别器,将S1、S2和真值GT分别送入到判别器内进行分类,辅助生成器生成更精细的显著图;
步骤S5、通过标注的真值用二元交叉熵BCE损失函数、设计的降低错检率和漏检率的损失函数以及条件生成对抗网络损失函数监督训练网络模型;
步骤S5中损失函数G*为:
其中,Lα(G,D)为条件生成对抗网络损失函数,Lsg(St,Y)为生成器损失函数,LS(Sfinal,Y)为显著损失函数,Lsc(S1,S2)为一致性损失函数;St表示不同生成器生成的显著图S1和显著图S2;α,β,γ,ω是控制不同损失的权重参数;
显著性损失是最终的预测结果Sfinal和真值之间的交叉熵损失;
对抗损失L(G,D)用于在训练阶段平衡生成网络和判别网络,帮助两个生α成器生成更好的分割结果;
Xinput表示输入的RGB图片和热红外图片的平均值,St包括S1和S2,表示两个生成器预测的显著图,Y表示真值,D()表示的是判别器函数。
2.根据权利要求1所述的基于条件生成对抗网络的可见光-热红外显著目标检测方法,其特征在于:所述步骤S1中各生成器的特征编码器均采用共享参数的VGG19网络,且VGG19网络去除最后的全连接层,这两个生成器的VGG19网络分别从可见光模态和热红外模态提取分层特征,各层特征表示为f1~f5,通道数分别是32、64、128、512和512。
3.根据权利要求1所述的基于条件生成对抗网络的可见光-热红外显著目标检测方法,其特征在于:所述步骤S2中全局上下文信息模块GCIM,为了更好地获得全局上下文信息,上述步骤S2中使用了GCIM模块整合最高层特征f5,扩大感受野,表示如下:fglobal=GCIM(f5);
全局上下文信息模块GCIM包括三个并行分支,每个分支m均包括串行的一层卷积层和一层膨胀卷积层,每个分支的输出通道数为256;然后,利用残差连接将原始特征f5和三个分支的特征连接在一起,通过1*1卷积运算将通道数减少到256,进而得到全局特征fglobal。
4.根据权利要求1所述的基于条件生成对抗网络的可见光-热红外显著目标检测方法,其特征在于:所述步骤S3中,两个生成器分别对其各自融合后的特征Fout使用卷积操作和sigmoid激活函数得到两个生成器的预测显著图S1和显著图S2;然后整合两个生成器的输出特征,经过一层卷积层和sigmoid激活函数激活得到最终的显著预测图Sfinal:Sfinal=σ(W*[Fout1,Fout2]);
[*]表示为对应通道的连接操作,*表示3*3卷积操作,W是对应的卷积参数。
5.根据权利要求1所述的基于条件生成对抗网络的可见光-热红外显著目标检测方法,其特征在于:所述步骤S4中的判别器包含四层卷积、三层max-pooling层和三层全连接层,判别器的输入是三个具有原始输入的显著图,[S1,input],[S2,input]和[S,input],其中S1和S2是两个生成器的预测结果即显著图,S是真值图,input为原始可见光图像和热红外图像的平均值;
最后,判别器的输出是三个值,这三个值是每个输入的判别得分。
6.根据权利要求1所述的基于条件生成对抗网络的可见光-热红外显著目标检测方法,其特征在于:两个生成器中的生成器损失函数分别为:假阴性假阳性St包括S1和S2,j表示数据集中第j张图片,N是数据集总的图片数;λ1,λ2用来平衡FN和FP,控制两个生成器偏向各自的任务;
给定最终显著图和真实数据Y={Yn|n=1,...,T},其中n表第n个像素,T是总像素数;
二元交叉熵BCE损失函数为:
最后使用一致性损失Lsc来缩小显著图S1和显著图S2之前的生成差距;
其中,w,h,c分别代表输出图的宽、高和通道数。