1.基于渐进式融合Transformer与动态指导学习的RGBT跟踪方法,其特征在于,所述方法包括:训练过程以及测试过程,所述训练过程包括:
S1、从预置序列中,采集并预处理得到模板帧的可见光和热红外图像对,以及搜索帧的可见光和热红外图像对,调整预置模板帧区域及预置搜索帧区域的尺寸,以得到可见光与热红外模板帧、可见光与热红外搜索帧;
S2、对所述可见光与热红外模板帧、所述可见光与热红外搜索帧进行特征提取,以得到模板帧特征以及搜索帧特征,据以利用吸收Transformer模块的融合分支网络进行跨分支特征融合,以得到模板帧融合分支输出、搜索帧融合分支输出,据以交互处理所述模板帧和所述搜索帧的特征信息,得到搜索帧多分支特征;
S3、将所搜索帧多分支特征,分别送入各自分支的分类器,据以计算分类损失;
S4、根据所述分类损失确定适用特定模态分支,据以利用协同学习算法对融合分支进行训练优化,以得到适用网络模型参数;
所述测试过程包括:
S1’、采样并预处理测试数据,利用所述适用网络模型参数初始化得到网络模型,据以处理得到测试模板帧、测试当前帧;
S2’、通过执行所述步骤S2至步骤S4,对所述测试模板帧和所述测试当前帧进行特征提取、跨分支特征融合以及信息交互操作,以得到当前帧融合模态分支特征;
S3’、将所述当前帧融合模态分支特征送入分类器和回归器,据以预测当前帧目标的包围框。
2.根据权利要求1所述的基于渐进式融合Transformer与动态指导学习的RGBT跟踪方法,其特征在于,所述步骤S1包括:S11、对所述预置序列进行随机采样及对齐处理,以获得所述模板帧的可见光和热红外图像对、所述搜索帧的可见光和热红外图像对;
S12、根据预置的初始化边界框,对模板帧区域和搜索帧区域进行裁剪调整操作,以得到所述可见光与热红外模板帧、所述可见光与热红外搜索帧。
3.根据权利要求1所述的基于渐进式融合Transformer与动态指导学习的RGBT跟踪方法,其特征在于,所述步骤S2包括:S21、将所述可见光与热红外模板帧、所述可见光与热红外搜索帧,分别输入预置骨干网络ResNet50,以提取得到所述模板帧特征以及所述搜索帧特征;
S22、将所述模板帧特征以及所述搜索帧特征的不同模态特征相加并送入所述融合分支网络,并使用多头注意力机制、跨编码器得到增强融合特征;
S23、根据所述增强融合特征,利用预置逻辑进行交叉注意力计算,以得到模板帧交叉注意力输出、搜索帧交叉注意力输出;
S24、将模板帧交叉注意力输出、搜索帧交叉注意力输出相加并送至层归一化模块,得到所述模板帧融合分支输出、所述搜索帧融合分支输出;
S25、将所述模板帧各分支输出、所述搜索帧各分支输出组合为特征对,以交互处理所述模板帧和所述搜索帧的特征信息,得到所述搜索帧增强的多分支特征。
4.根据权利要求3所述的基于渐进式融合Transformer与动态指导学习的RGBT跟踪方法,其特征在于,所述步骤S21中,所述预置骨干网络包括:ResNet50。
5.根据权利要求3所述的基于渐进式融合Transformer与动态指导学习的RGBT跟踪方法,其特征在于,所述步骤S22包括:x
S221、将所述不同模态特征相加得到融合模态待增强特征F;
x
S222、将所述融合模态待增强特征F 送入所述融合分支网络,并使用多头注意力机制来增强融合特征得到多头注意力增强的融合特征S223、对所述不同模态特征送入跨编码器进行增强。
6.根据权利要求3所述的基于渐进式融合Transformer与动态指导学习的RGBT跟踪方法,其特征在于,所述步骤S23中,将所述增强的融合特征作为查询输入Q,分别将增强的所述模板帧及所述搜索帧的单模态特征作为键K和值V,利用下述逻辑进行交叉注意力计算,以得到所述模板帧和所述搜索帧不同模态的交叉注意力输出:式中, 为融合分支的输出, 为模板帧融合分支的输出,x表示搜索帧,v表示可见光模态,i表示热红外模态。
7.根据权利要求3所述的基于渐进式融合Transformer与动态指导学习的RGBT跟踪方法,其特征在于,所述步骤S25中,将所述特征对分别送入吸收Transformer编码器和吸收Transformer解码器,以处理得到所述搜索帧多分支特征。
8.根据权利要求1所述的基于渐进式融合Transformer与动态指导学习的RGBT跟踪方法,其特征在于,所述步骤S4包括:S41、比较融合分支得到的所述分类损失与单模态分支得到的所述分类损失,以得到比较结果;
S42、根据比较结果处理得到融合分支总损失。
9.根据权利要求1所述的基于渐进式融合Transformer与动态指导学习的RGBT跟踪方法,其特征在于,所述S41包括:S411、若所述单模态分支得到的所述分类损失,小于融合分支得到的所述分类损失,则将融合分支分类得分与所述单模态分支分类得分差的平方,作为融合分支总损失的一部分;
S412、否则以融合分支的分类损失和包围框预测损失组成所述融合分支总损失。
10.基于渐进式融合Transformer与动态指导学习的RGBT跟踪系统,其特征在于,所述系统包括:训练模块以及测试模块,其中,
所述训练模块包括:
采集预处理模块,用以从预置序列中,采集并预处理得到模板帧的可见光和热红外图像对,以及搜索帧的可见光和热红外图像对,调整预置模板帧区域及预置搜索帧区域的尺寸,以得到可见光与热红外模板帧、可见光与热红外搜索帧;
吸收Transformer模块,用以对所述可见光与热红外模板帧、所述可见光与热红外搜索帧进行特征提取,以得到模板帧特征以及搜索帧特征,据以利用吸收Transformer模块的融合分支网络进行跨分支特征融合,以得到模板帧融合分支输出、搜索帧融合分支输出,据以交互处理所述模板帧和所述搜索帧的特征信息,得到搜索帧多分支特征,所述吸收Transformer模块与所述采集预处理模块连接;
分类损失计算模块,用以将所搜索帧多分支特征,分别送入各自分支的分类器,据以计算分类损失,所述分类损失计算模块与所述吸收Transformer模块连接;
模型参数优化模块,用以根据所述分类损失确定适用特定模态分支,据以利用协同学习算法对融合分支进行训练优化,以得到适用网络模型参数,所述模型参数优化模块与所述分类损失计算模块连接;
所述测试模块包括:
测试数据采集及预处理模块,用以采样并预处理测试数据,利用所述适用网络模型参数初始化得到网络模型,据以处理得到测试模板帧、测试当前帧;
测试数据融合模块,用以对所述测试模板帧和所述测试当前帧进行特征提取、跨分支特征融合以及信息交互操作,以得到当前帧融合模态分支特征,所述测试数据融合模块与所述测试数据采集及预处理模块连接;
当前帧目标包围框预测模块,用以将所述当前帧融合模态分支特征送入分类器和回归器,据以预测当前帧目标的包围框,所述当前帧目标包围框预测模块与所述测试数据融合模块连接。