1.一种可见光与红外图像下的目标跟踪系统,其特征在于,包括:
双模态双分支特征提取模块:用于从RGB和TIR图像中提取可见光特定特征、红外特定特征,以及从两种模态图像的共同特征;
跨模态融合动态卷积模块:用于通过动态卷积将双模态双分支特征提取模块输出的所有特征相融合,得到特征图RGB‑T,以捕捉RGB和TIR图像之间的互补特征;
区域建议网络的融合模块:用于通过融合模板特征与目标特征的分类分支对得到的特征图RGB‑T进行最终的分类与回归,以得到目标的边界框;
所述双模态双分支特征提取模块包括上部分的模板图像特征提取部分和下部分的检测图像特征提取部分,其中,模板图像特征提取部分包括RGB模板图像特征提取部分和TIR模板图像特征提取部分,检测图像特征提取部分包括RGB检测图像特征提取部分和TIR检测图像特征提取部分;
所述RGB模板图像特征提取部分、TIR模板图像特征提取部分、RGB检测图像特征提取部分、TIR检测图像特征提取部分均由四个卷积模块组成,四个卷积模块中前两个卷积模块包含一个卷积层、一个归一化层、一个最大池化层和一个激活函数层,后两个卷积模块包含一个卷积层、一个归一化层和一个激活函数层;
所述跨模态融合动态卷积模块包括卷积核以及对卷积核的关注机制,所述对卷积核的关注机制表示为:Sse=Fex(z,W)
=σ(Wse2δ(Wse1Wc))
Fex代表通道注意力操作,z代表的是一个可学习的矩阵,W代表的是输入的特征,δ表示第一个全连接层对Wse1与特征矩阵Wc进行全连接操作,通过Wse1对Wc进行抽象信息提取,σ表示通道注意力操作通过Wse2对δ(Wse1Wc)进行通道调整;Wse1是一个可学习的矩阵,通过与Wc矩阵相乘提取多维子空间信息;Wse2是一个可学习的矩阵,其维度是Kse×Kc,Kc为卷积核的通道数,Kse是δ(Wse1Wc)的维度;Wse2通过与δ(Wse1Wc)矩阵相乘将多维子空间信息浓缩一种对多个卷积核的关注机制,权重应用于卷积核。
2.根据权利要求1所述的一种可见光与红外图像下的目标跟踪系统,其特征在于,所述双模态双分支特征提取模块还包括特征解耦模块,用于对RGB和TIR图像的原始特征进行解耦,得到可见光特定特征、红外特定特征,以及从两种模态图像中提取的共同特征,所述特征解耦模块的表达式如下:其中, 分别代表可见光、热红外图像的原始特征;FRS、FTS、FMC分别代表特征解偶模块中的可见光特定特征、红外特定特征、从两种模态图像中提取的共同特征的输出模块;
分别表示特征解耦模块输出的可见光特定特征、红外特定特征、从两种模态图像中提取的共同特征。
3.根据权利要求1所述的一种可见光与红外图像下的目标跟踪系统,其特征在于,所述区域建议网络的融合模块包括两个分类分支、两个回归分支和区域建议网络RPN,所述分类分支和回归分支均用于增强区域建议网络RPN;所述分类分支由一个3×3大小的卷积层构成,输出通道数为2n,n代表锚盒个数;所述回归分支由一个3×3大小的卷积层构成,输出通道数为4n;
所述区域建议网络的融合模块还包括双分支融合模块,用于对两个分类分支的特征值进行融合以及对两个回归分支的特征值进行融合。
4.根据权利要求3所述的一种可见光与红外图像下的目标跟踪系统,其特征在于,所述区域建议网络的融合模块中两个分类分支的特征值的融合表示为:Rcls=[ψ(xrc)]cls×[ψ(zr)]cls
Mcls=[ψ(xmc)]cls×[ψ(zm)]cls
Lcls=Mcls+Rcls
其中,Rcls表示两种模态的原始地图上对应位置处的每个锚帧被预测为背景和目标的概率,Mcls表示两种模态的原始地图上对应位置处的每个锚帧被预测为背景和目标的标签的损失;xrc代表可见光模态的分类分支特征,xmc代表融合模态的分类分支特征,zr和zm分别代表与该原始图像所对应的分类标签;Lcls为最终的分类结果;ψ代表损失函数;
两个回归分支的特征值融合表示为:
Rreg=[ψ(xrr)]reg×[ψ(zr)]reg
Mreg=[ψ(xmr)]reg×[ψ(zm)]reg
Lreg=Mreg+Rreg
其中,ψ代表损失函数,xrr代表可见光模态的回归分支特征,xmr代表融合模态的回归分支特征,Rreg表示两种模态的原始地图上对应位置处的每个锚帧被所预测偏移量的损失,Mreg表示两种模态的原始地图上对应位置处的每个锚帧被所预测标签的损失,Lreg表示锚框和对应的地面真值框之间的预测偏移损失综合。
5.一种如权利要求1~4任一项所述的可见光与红外图像下的目标跟踪系统的跟踪方法,其特征在于,包括以下步骤:S0:输入源图像,包括RGB模板图像、TIR模板图像和RGB检测图像、TIR检测图像;
S1:获取RGB‑T图像对,将图像转换成Tensor的数据格式,然后根据所需要的目标作为模板裁剪,之后通过图像预处理进行重建,再根据目标进行裁剪;
S2:将S1裁剪后的图像输入到双模态双分支特征提取模块,对源模板图像和目标图像进行特征提取,得到两种模态的独有特征图以及模态间共有的特征图;
S3:将S2提取的两种模态解耦后的独有特征图输入到跨模态融合动态卷积模块中,通过动态卷积的方法将其融合,以使得RGB和TIR图像的模态间独立信息得到充分融合;
S4:通过将融合模板特征与目标特征的分类分支得到的特征图输入区域建议网络的融合模块,进行最终的分类与回归;
S5:将S4得到的数据进行后处理最终得到目标所在坐标;
S6:按照固定批次将RGB和TIR图像输入到模型中,并依次循环S0‑S5,实现动态跟踪。