1.一种基于对抗学习和特征一致适配器的跨模态目标跟踪方法,其特征在于,构建跨模态目标跟踪网络FCTrack,跨模态目标跟踪网络FCTrack包括模态感知模块、特征一致适配器、跨模态特征融合模块、Transformer编码器和跟踪预测模块;将待处理图像序列、对应的RGB模板图像、NIR模板图像输入跨模态目标跟踪网络FCTrack,执行以下步骤:首先,模态感知模块预测当前图像帧的模态类别,如果预测为RGB模态,则将其原始RGB模态特征送入Transformer编码器;如果预测为NIR模态,则将当前图像帧送入特征一致适配器;
特征一致适配器收到NIR模态的图像帧后,采用双向映射结构将其原始NIR模态特征映射至 RGB 模态的潜在特征空间,输出得到RGB互补特征,并传输至跨模态特征融合模块;
接着,跨模态特征融合模块采用特征维度协同对齐与高维空间组合方法,对RGB互补特征与原始NIR模态特征进行互补融合,得到统一融合特征,并将统一融合特征输入Transformer编码器;
其次,Transformer编码器收到统一融合特征/原始RGB模态特征后,对两类模板图像和搜索区域进行联合特征提取和关系建模;
最终,由跟踪预测模块输出目标位置与大小,实现跨模态跟踪;
上述特征一致适配器采用双向映射结构,包括从源域到目标域的前向映射模块,以及从目标域回到源域的逆向重构模块;前向映射模块将原始NIR模态特征投影至RGB潜在空间,使经映射的特征在分布及视觉表现形式上与RGB特征保持一致,首先通过第一个全连接层将原始NIR模态特征投影到一个低维的潜在空间,然后通过ReLU激活函数进行非线性映射,最后将降维后的特征通过第二个全连接层映射回原始的特征维度;逆向重构模块将映射后的特征重新投影回NIR特征空间;
所述Transformer编码器的第3层、第6层以及第9层中均设有候选消除模块,通过候选消除模块逐步筛选掉和模板相似度低的无关区域,只保留相似度分数最高的区域;所述跟踪预测模块基于OSTrack模型。
2.根据权利要求1所述的基于对抗学习和特征一致适配器的跨模态目标跟踪方法,其特征在于,所述模态感知模块包括三层卷积层和两层全连接层,每一层卷积层后均接有ReLU激活函数和最大池化操作,第一层卷积层与池化操作捕获图像的基础纹理特征及亮度特征,第二层卷积层和池化操作编码图像的局部结构信息,第三层卷积层与池化操作对多尺度信息进行整合,形成高维模态特征向量,第三层卷积层处理之后,通过两层全连接层处理将所得空间特征转换为分类输出,通过对分类概率进行判断确定当前帧的模态类别。
3.根据权利要求1所述的基于对抗学习和特征一致适配器的跨模态目标跟踪方法,其特征在于,通过对抗学习约束与特征一致性约束对特征一致适配器进行联合训练:;
;
其中,和分别代表对抗一致性损失和特征一致性损失,和分布代表RGB和NIR的特征,x和y分别代表从NIR数据分布和RGB数据分布中采样得到的特征;A1和A2代表特征一致适配器的前向映射和逆向重构过程,D代表对当前模态的判别。
4.根据权利要求1所述的基于对抗学习和特征一致适配器的跨模态目标跟踪方法,其特征在于,所述跨模态特征融合模块的具体工作过程如下:首先对原始NIR模态特征与RGB互补特征分别进行特征维度的归一化处理;
同时,通过轻量级线性变换对两类特征进行语义重整;
完成特征对齐后,采用结构化维度拼接融合机制,将两类特征按照预设规则沿特征维度方向进行组合,得到统一融合特征。