欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2026104936460
申请人: 安徽大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.基于时空条件去噪Transformer的多模态目标跟踪方法,其特征在于:包括:对预处理后的RGB、TIR模态的模板、搜索帧序列进行编码,得到RGB模态的搜索帧编码特征、TIR模态的搜索帧编码特征;

根据RGB模态和TIR模态的完整度自适应产生高斯噪声,并将高斯噪声叠加至搜索帧编码特征、,生成RGB模态的含噪输入、TIR模态的含噪输入并进入去噪器;

将TIR模态的短期历史帧序列融合至含噪输入,得到特征,并将TIR模态的长期历史帧序列融合至特征,生成细化特征;将RGB模态的短期历史帧序列融合至含噪输入,得到特征,并将RGB模态的长期历史帧序列融合至特征,生成细化特征;

基于各模态的特征重建损失、特征对齐损失、跟踪损失联合训练去噪器,得到训练后的去噪器;

对可用模态的搜索帧编码特征注入高斯噪声后得到噪声特征,将噪声特征输入训练后的去噪器,生成重建或增强特征,将重建特征和可用模态拼接后的特征输入预测头或将增强特征输入预测头,生成跟踪边界框。

2.根据权利要求1所述的基于时空条件去噪Transformer的多模态目标跟踪方法,其特征在于:根据RGB模态和TIR模态的完整度自适应产生高斯噪声是指:当RGB模态或TIR模态的互补模态缺失或受损时,对可用的RGB模态或TIR模态注入高强度噪声;当各模态未缺失或受损,对可用的RGB模态或TIR模态注入轻微噪声。

3.根据权利要求1所述的基于时空条件去噪Transformer的多模态目标跟踪方法,其特征在于:含噪输入、的表达式为:其中,为含噪输入或,为RGB模态或TIR模态的搜索帧编码特征,为高斯噪声,,为高斯噪声方差,为单位矩阵,为噪声调度参数。

4.根据权利要求1所述的基于时空条件去噪Transformer的多模态目标跟踪方法,其特征在于:去噪器包括个级联的去噪模块,,每个去噪模块包括依次连接的自注意力层、交叉注意力层、FiLM调制模块、前馈网络,含噪输入或含噪输入通过自注意力层生成的特征进入交叉注意力层,通过交叉注意力层融合互补模态的短期历史帧序列,得到特征或特征,特征或特征进入FiLM调制模块,全局长期token通过FiLM风格的缩放和移位操作来调制特征,将调制后的特征输入前馈网络,生成细化特征或细化特征。

5.根据权利要求1所述的基于时空条件去噪Transformer的多模态目标跟踪方法,其特征在于:特征、的表达式为:其中,为特征或,为含噪输入或含噪输入经过自注意力层后的输出,表示交叉注意力,为RGB模态或TIR模态的短期历史帧序列。

6.根据权利要求1所述的基于时空条件去噪Transformer的多模态目标跟踪方法,其特征在于:细化特征、的表达式为:其中,为细化特征或,表示归一化,表示前馈网络,为全局长期记忆,、为可学习的投影,表示哈达马积。

7.根据权利要求1所述的基于时空条件去噪Transformer的多模态目标跟踪方法,其特征在于:基于各模态的特征重建损失、特征对齐损失、跟踪损失联合训练去噪器的总损失函数为:其中,为用于对缺失模态进行重建的特征重建损失,为强制特征统计量对齐以进行模态增强的特征对齐损失,为遵循ODTrack中设置的标准跟踪损失。

8.根据权利要求1所述的基于时空条件去噪Transformer的多模态目标跟踪方法,其特征在于:特征重建损失为:其中,为细化特征或,为互补模态的真值特征。

9.根据权利要求1所述的基于时空条件去噪Transformer的多模态目标跟踪方法,其特征在于:特征对齐损失为:其中,为细化特征或,为模态的真值特征,和表示在空间维度上计算的均值和方差。

10.基于时空条件去噪Transformer的多模态目标跟踪系统,其特征在于:包括:编码模块,用于对预处理后的RGB、TIR模态的模板、搜索帧序列进行编码,得到RGB模态的搜索帧编码特征、TIR模态的搜索帧编码特征;

噪声调制模块,用于根据RGB模态和TIR模态的完整度自适应产生高斯噪声,并将高斯噪声叠加至搜索帧编码特征、,生成RGB模态的含噪输入、TIR模态的含噪输入并进入去噪器;

时空条件去噪模块,用于将TIR模态的短期历史帧序列融合至含噪输入,得到特征,并将TIR模态的长期历史帧序列融合至特征,生成细化特征;将RGB模态的短期历史帧序列融合至含噪输入,得到特征,并将RGB模态的长期历史帧序列融合至特征,生成细化特征;

联合训练模块,用于基于各模态的特征重建损失、特征对齐损失、跟踪损失联合训练去噪器,得到训练后的去噪器;

目标跟踪模块,用于对可用模态的搜索帧编码特征注入高斯噪声后得到噪声特征,将噪声特征输入训练后的去噪器,生成重建或增强特征,将重建特征和可用模态拼接后的特征输入预测头或将增强特征输入预测头,生成跟踪边界框。