1.基于像素级融合的RGBT跟踪系统,其特征在于,包括:
像素级融合适配器:包括三个Vim块以及两个卷积层;RGB和TIR两个模态分别由一个低级特征提取层划分,然后馈入第一个Vim块以编码特定特征;然后应用令牌和通道连接沿着不同的特征维度合并两个模态,并且两个附加的Vim块进一步编码该融合的信息;最后使用将融合的特征解码成图像,得到融合图像If;
任务导向的渐进式学习框架:包括任务导向的多专家蒸馏框架库和解耦表示微调模块框架;所述专家蒸馏框架库用于像素级融合适配器的参数调整初始化;
所述解耦表示微调模块框架包括两个辅助分支、一个跟踪分支;训练时,两个辅助分支与跟踪分支并行操作,利用两个辅助分支对来自RGB和TIR的任务无关信息进行独立编码,得到RGB模态特征TIR模态特征跟踪分支对融合图像If进行特征提取,以获得融合特征并执行任务损失;然后结合以执行排斥损失和融合重建损失,以实现两种模态特征的任务相关性和任务无关性的解耦;输出目标分类和定位;测试时,采用训练后的跟踪分支进行目标跟踪;
所述多专家蒸馏框架包括基于CNN的图像融合模型、基于扩散的图像融合模型和基于Mamba的图像融合模型;给定RGB模态图像和TIR模态图像,用IPFA,Ic,Id,Im分别表示PFA、基于CNN的图像融合模型、基于扩散的图像融合模型和基于Mamba的图像融合模型的融合图像;因此,多专家自适应蒸馏的过程如下:其中T表示单流跟踪器的IOU预测器,Wi表示第i个专家的权重;通过最小化蒸馏损失来优化像素级融合适配器参数。
2.根据权利要求1所述的基于像素级融合的RGBT跟踪系统,其特征在于,还包括最近邻动态模版更新模块:用于对预测的目标分类分数与预设的阈值进行比较,进而判断模型是否需要更新。
3.根据权利要求1或2所述的基于像素级融合的RGBT跟踪系统,其特征在于,两个所述辅助分支包括特征提取主干和解码器;所述跟踪分支包括与辅助分支结构相同的特征提取主干,以及一个跟踪头。
4.根据权利要求1或2所述的基于像素级融合的RGBT跟踪系统,其特征在于,所述排斥损失的定义为:其中(x)+表示max(0,x),α是控制相似性阈值的余量参数。
5.根据权利要求1或2所述的基于像素级融合的RGBT跟踪系统,其特征在于,所述融合重建操作为将任务相关和任务不相关的特征组合起来,并将其放入两个辅助分支的解码器中,以重建原始模态图像,这个过程表示为:其中,Drgb和Dtir分别表示RGB和TIR模式编码器,表示均方误差函数。
6.使用权利要求1至5任一所述的基于像素级融合的RGBT跟踪系统的像素级融合方法,其特征在于,包括以下步骤:像素级融合特征提取的步骤:RGB和TIR两个模态作为像素级融合适配器的输入,分别由一个低级特征提取层划分,然后馈入第一个Vim块以编码特定特征;然后应用令牌和通道连接沿着不同的特征维度合并两个模态,并且两个附加的Vim块进一步编码该融合的信息;最后使用将融合的特征解码成图像,得到融合图像If;
任务导向的渐进式学习:包括像素级融合适配器参数初始化的步骤和解耦表示微调的步骤;
所述像素级融合适配器参数调整的步骤为采用任务导向的多专家蒸馏框架进行像素级融合适配器的参数初始化;
解耦表示微调的步骤为:训练时,两个辅助分支与跟踪分支并行操作,利用两个辅助分支对来自RGB和TIR的任务无关信息进行独立编码,得到RGB模态特征TIR模态特征跟踪分支对融合图像If进行特征提取,以获得融合特征并执行任务损失;然后结合以执行排斥损失和融合重建损失,以实现两种模态特征的任务相关性和任务无关性的解耦;输出目标分类和定位;测试时,采用训练后的跟踪分支进行目标跟踪;
所述多专家蒸馏框架包括基于CNN的图像融合模型、基于扩散的图像融合模型和基于Mamba的图像融合模型;给定RGB模态图像和TIR模态图像,用IPFA,Ic,Id,Im分别表示PFA、基于CNN的图像融合模型、基于扩散的图像融合模型和基于Mamba的图像融合模型的融合图像;因此,多专家自适应蒸馏的过程如下:其中表示单流跟踪器的IOU预测器,表示第i个专家的权重;通过最小化蒸馏损失来优化像素级融合适配器参数。
7.根据权利要求6所述的像素级融合方法,其特征在于,两个所述辅助分支包括特征提取主干和解码器;所述跟踪分支包括与辅助分支结构相同的特征提取主干,以及一个跟踪头。
8.根据权利要求7所述的像素级融合方法,其特征在于,所述排斥损失的定义为:
其中(x)+表示max(0,x),α是控制相似性阈值的余量参数;
所述融合重建操作为将任务相关和任务不相关的特征组合起来,并将其放入两个辅助分支的解码器中,以重建原始模态图像,这个过程表示为:其中,Drgb和Dtir分别表示RGB和TIR模式编码器,表示均方误差函数。