1.一种基于相关性建模的可见光-热红外显著性目标检测方法,其特征在于,包括以下步骤:步骤S1、输入一对由相机直接捕获的未对齐的可见光图像和热红外图像,然后使用预先训练的特征提取器分别对可见光图像和热红外图像进行特征提取,得到对应模态的特征,即可见光图像的多层特征和热红外图像的多层特征此处,i表示第i层特征,每个模态的图像均提取有四层特征,其中和为对应模态的高层特征,含有丰富的目标语义信息;
步骤S2、将所得两个高层特征和送入语义特征融合模块,整合得到两个模态中共有目标区域的高层语义特征fs,使用高层语义特征fs引导模型关注目标区域;
步骤S3、将所得高层语义特征fs和原始未对齐的可见光图像以及热红外图像一起送入语义引导的空间级相关性模块,空间级相关性模块对两个模态图像中针对目标区域的空间相关性进行建模,并在此基础上估计出两个模态间的单应性矩阵H,利用单应性矩阵H对热红外图像进行扭曲操作,使其对齐可见光图像中的对应目标区域,扭曲后的热红外图像记为It′;
步骤S4、将热红外图像It′、高层语义特征fs、可见光图像的多层特征和热红外图像的多层特征一起送入区域级模态间相关性模块;区域级模态间相关性模块先映射出可见光模态中和扭曲的热红外模态中的对应区域,然后建模两个模态对应区域特征的模态间相关性,将所得区域级模态间相关性特征记为步骤S5、将区域级模态间相关性特征和可见光图像的多层特征送入图像级模态内相关性模块,图像级模态内相关性模块通过自注意力将区域相关性扩展到整个图像范围,来建模整个可见光图像内显著性区域的相关性,将所得图像级模态内相关性特征记为步骤S6、将模态内相关性特征送入到特征解码器,自上而下地融合相邻层的相关性特征,得到预测的显著性图S,其被标注的真值G监督。
2.根据权利要求1所述的基于相关性建模的可见光-热红外显著性目标检测方法,其特征在于,所述步骤S1中的预先训练的特征提取器基于Transformer的Swin-B模型,Swin-B模型提取四层具有不同分辨率的特征,分别为96×96、48×48、24×24和12×12。
3.根据权利要求1所述的基于相关性建模的可见光-热红外显著性目标检测方法,其特征在于,所述步骤S2通过语义特征融合模块得到高层语义特征fs的具体方法为:首先,将两个高层特征和整平并拼接得到多模态高层特征
接着,将多模态高层特征送入自注意力,通过建模特征中的依赖关系来增强两个模态特征共同关注的目标区域特征;
然后,使用一个卷积块细化和平滑增强的多模态高层特征,得到含有目标位置信息的高层语义特征fs。
4.根据权利要求1所述的基于相关性建模的可见光-热红外显著性目标检测方法,其特征在于,所述步骤S3的详细过程为:步骤S3.1、使用预先训练的多模态单应性估计器IHN将可见光图像和热红外图像分别视作源图像和目标图像,并通过孪生编码器提取源图像和目标图像的特征,接着在特征空间计算源图像和目标图像间的相关性并估计出单应性矩阵H,源图像和目标图像的估计公式为:其中Irgb和It分别表示未对齐的可见光图像和热红外图像,Φ(.)表示特征编码器,Ψ(,)表示相关性计算方法,表示单应性估计器;
步骤S3.2、将孪生编码器提取的各层特征送入语义引导的适配器中,使得IHN适应可见光-热红外数据,计算过程如下:其中是第l层适应后的提取特征并会被传播到下一层特征,S-Adapterl是第l层的适配器,S-Adapterl利用高层语义特征fs来引导当前层特征Fl关注显著性区域,计算过程如下:其中Wdn和Wup是映射操作,表示融合单元,φ表示ReLU激活函数,CAP(.)表示通道平均池化,σ表示Sigmoid激活函数,⊙表示元素相乘操作;
步骤S3.3、将步骤3.1中多模态单应性估计器IHN获得单应性矩阵H的公式调整为:其中ΦAdapter(,)表示被适配器微调后的特征编码器;
步骤S3.4、利用步骤S3.3所得单应性矩阵H对热红外图像进行扭曲操作,最终得到和可见光对齐的热红外图像It′,计算过程如下:It′=Warp(It,H)
其中Warp(,)是扭曲操作。
5.根据权利要求1所述的基于相关性建模的可见光-热红外显著性目标检测方法,其特征在于,所述步骤S4的具体方法为:首先,使用扭曲的热红外图像It′来映射出可见光图像中对应的区域,该区域用来和未扭曲的可见光图像进行交互,此处映射是指IHN取一对源图像和目标图像,输出估计的同源矩阵H;
然后,引用高层语义特征fs来促进相关性建模关注目标区域,得到区域级模态间相关性特征计算过程如下:其中是第i层的RGB特征,表示映射操作,表相关性操作,Q,K,V分别表示查询、键、值。
6.根据权利要求1所述的基于相关性建模的可见光-热红外显著性目标检测方法,其特征在于,所述步骤S5的具体方法为:首先,使用残差连接将模态间相关性特征相加到整个可见光模态特征中;
然后,通过相关性操作将模态间的相关性传播到整个可见光模态中,得到图像级模态内相关性特征计算过程如下:其中,是第i层的RGB特征,是区域级模态间相关性特征。
7.根据权利要求1所述的基于相关性建模的可见光-热红外显著性目标检测方法,其特征在于,所述步骤S6的具体方法为:使用标注的真值G通过二元交叉熵损失函数Lbce和骰子系数损失函数Ldice共同监督预测的显著性图S,训练阶段的总的损失函数L的公式为:L=Lbce+Ldice
其中,N为像素总数,Gj表示为第j个像素的真值标签,Pj表示第j个像素的预测概率,|P|表示预测图中显著目标区域的像素数量,|G|表示真值标签图中显著目标检测区域的像素数量,|P∩G|表示P与G之间的交集区域的像素数量。