1.一种RGB-T目标跟踪方法,其特征在于,包括:
将RGB图像输入第一块嵌入层,得到所述第一块嵌入层输出的RGB模板令牌和RGB搜索区域令牌,将TIR图像输入第二块嵌入层,得到所述第二块嵌入层输出的TIR模板令牌和TIR搜索区域令牌;
将所述RGB模板令牌和TIR模板令牌输入多模态特征融合模块,得到所述多模态特征融合模块输出的融合模板令牌;
使用所述TIR模板令牌对所述RGB模板令牌进行增强得到RGB模板增强令牌,使用所述RGB模板令牌对所述TIR模板令牌进行增强得到TIR模板增强令牌;
将所述RGB搜索区域令牌与所述融合模板令牌进行融合得到所述RGB搜索区域增强令牌,将所述TIR搜索区域令牌与所述融合模板令牌进行融合得到所述TIR搜索区域增强令牌;
根据所述RGB模板增强令牌和RGB搜索区域增强令牌,得到所述RGB图像中的目标跟踪结果,根据所述TIR模板增强令牌和TIR搜索区域增强令牌,得到所述TIR图像中的目标跟踪结果。
2.根据权利要求1所述的RGB-T目标跟踪方法,其特征在于,将所述RGB模板令牌和TIR模板令牌输入多模态特征融合模块,得到所述多模态特征融合模块输出的融合模板令牌,包括:将所述RGB模板令牌和TIR模板令牌拼接后,依次通过所述多模态特征融合模块中的线性层、归一化层和GELU激活函数进行处理,输出的融合模板令牌。
3.根据权利要求1所述的RGB-T目标跟踪方法,其特征在于,使用所述TIR模板令牌对所述RGB模板令牌进行增强得到RGB模板增强令牌,包括:将所述RGB模板令牌作为查询,将所述TIR模板令牌作为键和值,通过跨注意力机制生成第一增强令牌;
使用所述第一增强令牌通过残差连接对所述RGB模板令牌进行增强,得到RGB模板增强令牌。
4.根据权利要求1所述的RGB-T目标跟踪方法,其特征在于,使用所述RGB模板令牌对所述TIR模板令牌进行增强得到TIR模板增强令牌,包括:将所述TIR模板令牌作为查询,将所述RGB模板令牌作为键和值,通过跨注意力机制生成第二增强令牌;
使用所述第二增强令牌通过残差连接对所述TIR模板令牌进行增强,得到TIR模板增强令牌。
5.根据权利要求1所述的RGB-T目标跟踪方法,其特征在于,将所述RGB搜索区域令牌与所述融合模板令牌进行融合得到所述RGB搜索区域增强令牌,包括:将所述RGB搜索区域令牌作为查询,将所述融合模板令牌作为键和值,通过跨注意力机制生成第一自适应令牌;
使用所述第一自适应令牌通过残差连接对所述RGB搜索区域令牌进行增强,得到RGB搜索区域增强令牌。
6.根据权利要求1所述的RGB-T目标跟踪方法,其特征在于,将所述TIR搜索区域令牌与所述融合模板令牌进行融合得到所述TIR搜索区域增强令牌,包括:将所述TIR搜索区域令牌作为查询,将所述融合模板令牌作为键和值,通过跨注意力机制生成第二自适应令牌;
使用所述第二自适应令牌通过残差连接对所述TIR搜索区域令牌进行增强,得到TIR搜索区域增强令牌。
7.根据权利要求1所述的RGB-T目标跟踪方法,其特征在于,根据所述RGB模板增强令牌和RGB搜索区域增强令牌,得到所述RGB图像中的目标跟踪结果,根据所述TIR模板增强令牌和TIR搜索区域增强令牌,得到所述TIR图像中的目标跟踪结果,包括:将所述RGB模板增强令牌和RGB搜索区域增强令牌拼接后,依次输入第一定位头中的卷积层和线性层,得到所述RGB图像中的目标跟踪结果;
将所述TIR模板增强令牌和TIR搜索区域增强令牌拼接后,依次输入第二定位头中的卷积层和线性层,得到所述TIR图像中的目标跟踪结果。
8.一种RGB-T目标跟踪装置,其特征在于,包括:
嵌入模块,用于将RGB图像输入第一块嵌入层,得到所述第一块嵌入层输出的RGB模板令牌和RGB搜索区域令牌,将TIR图像输入第二块嵌入层,得到所述第二块嵌入层输出的TIR模板令牌和TIR搜索区域令牌;
融合模块,用于将所述RGB模板令牌和TIR模板令牌输入多模态特征融合模块,得到所述多模态特征融合模块输出的融合模板令牌;
第一增强模块,用于使用所述TIR模板令牌对所述RGB模板令牌进行增强得到RGB模板增强令牌,使用所述RGB模板令牌对所述TIR模板令牌进行增强得到TIR模板增强令牌;
第二增强模块,用于将所述RGB搜索区域令牌与所述融合模板令牌进行融合得到所述RGB搜索区域增强令牌,将所述TIR搜索区域令牌与所述融合模板令牌进行融合得到所述TIR搜索区域增强令牌;
定位模块,用于根据所述RGB模板增强令牌和RGB搜索区域增强令牌,得到所述RGB图像中的目标跟踪结果,根据所述TIR模板增强令牌和TIR搜索区域增强令牌,得到所述TIR图像中的目标跟踪结果。
9.一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至7任一项所述RGB-T目标跟踪方法。
10.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述RGB-T目标跟踪方法。