1.一种非对称光照感知渐进解码RGB-T显著目标检测方法,其特征在于包括以下步骤:
S1:获取RGB-T显著目标检测数据集,进行预处理后输入到训练好的RGB-T显著目标检测网络中;
S2:采用两个Swin Transformer骨干网络分支分别对RGB图像和热红外图像进行特征提取,得到RGB特征和T特征其中,r表示RGB图像,t表示热红外图像,i表示特征的层级;
S3:利用非对称光照感知交互模块,以非对称的方式实现RGB特征和T特征的有效交互,减少干扰信息;
S4:通过通道空间特征融合模块,在通道和空间两个维度实现跨模态特征融合;
S5:采用分阶段渐进解码策略,将融合后的特征解码输出最后的显著图。
2.如权利要求1所述的非对称光照感知渐进解码RGB-T显著目标检测方法,其特征在于,所述的非对称光照感知交互模块通过元素乘操作获取两特征的共性信息随后通过元素减操作获取RGB特征差分信息和T特征差分信息接下来,将特征交互过程分为两部分:T→R和R→T;对于T→R部分,将T模态的差分信息与拼接起来并通过BConv层,随后经过残差连接和BConv层确保在特征交互过程中原始RGB信息得以保留;接下来,再次引入残差连接操作进一步保留和强化RGB特征的语义信息;对于R→T部分,将RGB模态的差分信息与拼接起来,随后依次通过BConv层、残差连接和BConv层,将结果与生成的空间注意图相乘,以突出T模态中应被特别关注的区域;BConv(·)代表Conv层、BN层和Relu激活函数,Cat[·]代表拼接操作,SA(·)代表空间注意力,其具体计算公式如下:
3.如权利要求1所述的非对称光照感知渐进解码RGB-T显著目标检测方法,其特征在于,所述通道空间特征融合模块在通道和空间两个维度融合跨模态特征;对于通道维度,使用全局平均池化和全局最大池化获取特征在每个通道上的全局信息,随后将全局平均池化和全局最大池化操作的结果分别进行拼接,输入到全连接层学习不同通道的重要性权重WA和WM;接下来,将计算得到的权重向量经过元素加操作,并通过Sigmoid层以生成用于融合两个模态的关键统计量和最后通过逐元素乘法操作实现自适应的通道特征选择;GAP(·)和GMP(·)表示全局平均池化和全局最大池化,FC(·)代表全连接层,其具体计算公式如下:对于空间维度,采用一组扩张率为1,2,4的扩张卷积来获得和的多尺度上下文信息,然后将多尺度信息拼接在一起,通过BConv层对通道维度上的特征进行聚合,得到两个模态的空间注意图和接下来,将两模态空间注意图进行拼接,通过BConv层和Sigmoid层,得到RGB图像相对权重图热图像相对权重图通过矩阵E减去得到,最后利用元素乘和元素加操作融合跨模态特征;DConvr(·)代表扩张率为r的扩张卷积块,E代表全1矩阵,其具体计算公式如下:
4.如权利要求1所述的非对称光照感知渐进解码RGB-T显著目标检测方法,其特征在于,所述分阶段渐进解码策略将多层跨模态特征划分为和两组,特征解码过程分为两个阶段;在第一阶段,特征集合T1被输入到第一个解码器块中,随后通过Conv层生成初始的显著图S1;紧接着,将S1作为指导,与T2中的特征分别进行元素乘操作,进行进一步的改进和细化,以此来抑制无关的背景干扰;在第二阶段,细化后的特征集合T2被输入到第二个解码器块,随后通过Conv层生成最终的显著图S2;DBi代表第i个解码器块,其具体计算公式如下:S1=Conv(DB1(T1)),
所述的解码器块采用金字塔乘法和拼接操作逐层聚合相邻特征;具体来说,将每层特征与所有更高级的特征相乘,从而获得更新后的特征随后,更新后的特征不断经过上采样和BConv层,通过渐进拼接策略以生成输出显著图Sj;其中,i∈{1,2,3},kmax=3或i∈{3,4,5},kmax=5;k=3,j=1或k=1,j=2;UP(·)代表上采样操作,其具体计算公式如下:
5.如权利要求1所述的非对称光照感知渐进解码RGB-T显著目标检测方法,其特征在于,所述训练好的RGB-T显著目标检测网络的训练步骤包括:构建RGB-T显著目标检测网络;
构建训练集,所述训练集为RGB图像及其对应T图像和显著图;
将训练集输入到RGB-T显著目标检测网络中,进行训练;
RGB-T显著目标检测网络输出检测结果;
将检测结果和输入RGB图像对应的显著图计算损失;
当损失值达到最小时,模型收敛,停止训练,得到训练好的RGB-T显著目标检测网络。