欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2024117805637
申请人: 安徽大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于差异性信息的RGBT跟踪增强融合方法,其特征在于,所述方法包括:S1、接收并分割RGB图像与热红外TIR图像对,得到并展平图像块,得到图像序列;利用嵌入层、位置编码,将图像序列转换为特征向量;

S2、进行多模态ViT特征提取操作,将特征向量通过ViT,进行特征提取、关系建模,以基于自注意力机制捕获模态内部相关性信息;在ViT集成ADEF模块,计算并减去跨模态融合注意力矩阵,获取RGB模态特征表示增强向量、TIR模态特征表示增强向量;

S2包括:

S21、对特征向量中的RGB模态和TIR模态,分别计算自注意力矩阵Attnr、Attnt;

S22、对RGB模态、TIR模态,计算跨模态融合注意力矩阵Attnfused;

S23、从自注意力矩阵中减去跨模态融合注意力矩阵,以求取差异注意力矩阵Attn'r、Attn't:Attn'r=Attnr-Attnfused

Attn't=Attnt-Attnfused

S24、根据差异注意力矩阵,处理得到差异特征;

S25、将差异特征与原始特征相加,并通过残差连接传递,完成ADEF模块中的特征融合操作:S3、进行特征差异增强融合操作,在ViT的最后一层集成并应用FDEF模块,以求取并减去跨模态相似性矩阵,保留并放大RGB模态特征表示增强向量、TIR模态特征表示增强向量中的模态独特特征,通过元素级加法进行融合,得到增强多模态特征;

S3包括:

S31、进行跨模态注意力计算,对RGB模态特征表示增强向量、TIR模态特征表示增强向量,分别计算跨模态注意力权重,并生成跨模态融合特征;

S32、进行差异特征计算,从原始特征中,减去跨模态融合特征,得到独特差异特征F'rt:S33、对独特差异特征,进行跨模态注意力再计算操作,得到增强差异特征;

S34、进行多模态特征融合,将增强差异特征与TIR模态的查询矩阵相加,融合得到增强多模态特征:Ffused=MLP(F″rt+Qt)

式中,MLP表示多层感知机;

S4、根据增强多模态特征进行目标状态预测,利用预置跟踪头预测目标位置、状态,将待跟踪多模态图像输入DEFNet,输出跟踪结果。

2.根据权利要求1所述的一种基于差异性信息的RGBT跟踪增强融合方法,其特征在于,所述S21中,设和分别表示第l层Transformer后的所述RGB模态和所述TIR模态的特征表示,式中,为模板特征,为搜索区域特征;

通过线性变换得到查询Query矩阵、键Key矩阵以及值Value矩阵:式中,WQ,WK,WV为线性变换矩阵;

计算所述自注意力矩阵:

式中,dk是键的维度。

3.根据权利要求1所述的一种基于差异性信息的RGBT跟踪增强融合方法,其特征在于,所述S22中,计算所述RGB模态、所述TIR模态之间的所述跨模态融合注意力矩阵:式中,°表示逐元素乘法。

4.根据权利要求1所述的一种基于差异性信息的RGBT跟踪增强融合方法,其特征在于,所述S24中,使用所述差异注意力矩阵对值矩阵进行加权求和,得到所述差异特征:Fr'=Attn'rVr

Ft'=Attn'tVt。

5.根据权利要求1所述的一种基于差异性信息的RGBT跟踪增强融合方法,其特征在于,所述S31中,求取所述跨模态注意力权重:式中,Qt,Kr,Vr分别为TIR模态的查询矩阵、RGB模态的键矩阵和值矩阵。

6.根据权利要求1所述的一种基于差异性信息的RGBT跟踪增强融合方法,其特征在于,所述S33中,进行所述跨模态注意力再计算操作:式中,ΔK是可选的,用于微调键矩阵,此处简化为直接使用Kr。

7.根据权利要求1所述的一种基于差异性信息的RGBT跟踪增强融合方法,其特征在于,所述S4中,将所述增强多模态特征输入至所述跟踪头,通过分类、回归操作预测目标位置、状态;在不少于2个基准数据集上进行训练,通过最小化跟踪误差来优化网络参数;将待跟踪多模态图像输入DEFNet,得到所述跟踪结果。

8.一种基于差异性信息的RGBT跟踪增强融合系统,用于执行前述权利要求1至7任一项所述的一种基于差异性信息的RGBT跟踪增强融合方法,其特征在于,所述系统包括:输入数据处理模块,用以接收并分割RGB图像与热红外TIR图像对,得到并展平图像块,得到图像序列;利用嵌入层、位置编码,将所述图像序列转换为特征向量;

多模态ViT特征提取模块,用以进行多模态ViT特征提取操作,将所述特征向量通过ViT,进行特征提取、关系建模,以基于自注意力机制捕获模态内部相关性信息;在所述ViT集成ADEF模块,计算并减去跨模态融合注意力矩阵,获取RGB模态特征表示增强向量、TIR模态特征表示增强向量,所述多模态ViT特征提取模块与所述输入数据处理模块连接;

特征差异增强融合模块,用以进行特征差异增强融合操作,在所述ViT的最后一层集成并应用FDEF模块,以求取并减去跨模态相似性矩阵,保留并放大所述RGB模态特征表示增强向量、所述TIR模态特征表示增强向量中的模态独特特征,通过元素级加法进行融合,得到增强多模态特征,所述特征差异增强融合模块与所述多模态ViT特征提取模块连接;

目标状态预测模块,用以根据所述增强多模态特征进行目标状态预测,利用预置跟踪头预测目标位置、状态,将待跟踪多模态图像输入DEFNet,输出跟踪结果,所述目标状态预测模块与所述特征差异增强融合模块连接。