欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2025105825649
申请人: 浙江师范大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于卷积注意力融合的RGBT目标跟踪方法,其特征在于,包括以下步骤:步骤一、视频预处理;

在数据集中随机选取一段视频序列,其中每一帧为一张图像;在可见光与热红外模态的第一帧的相同位置选定目标所在的矩形区域,将该区域缩放,并保存作为该视频序列的目标模板;从第二帧起,以上一帧目标位置为中心点,选取范围大于目标所在区域的正方形区域,并缩放后作为当前帧的搜索区域;

步骤二、特征提取;

将可见光与热红外模态的目标模板与搜索区域切割为若干区块并展开拼接,通过线性映射层将图像信息映射为一维特征序列,并向其加入全局位置编码;对两个模态的特征分别使用参数共享的主干网络的Transformer编码器提取特征;

主干网络采用OSTrack作为基线模型并扩展为双分支,令原始输入的可见光、热红外特征分别为Xr、Xt,第i层Transformer编码器表示为Encoderi,特征提取过程可公式化表达为:;

其中,表示第i层可见光特征,表示第i层热红外特征,表示第(i+1)层可见光特征,表示第(i+1)层热红外特征;

步骤三、局部特征增强与融合;

在Transformer编码器之间插入卷积注意力融合模块:通过滑动窗口将一维特征序列进行二维化处理,随后在其周围进行零填充,使用滑动窗口从左上角开始循环滑动,滑动窗口遍历整个特征图,选定局部区域;将局部区域序列化并计算可见光与热红外模态的局部交叉注意力;最后将各个滑动窗口的局部交叉注意力结果进行合并;

通过滑动窗口选定局部区域,具体步骤如下:

对于输入的一维线性特征序列X∈R(H×W)×C,将其展开为二维特征,并通过零填充将其扩展至(H+2×padding)×(W+2×padding),其中,H、W、C分别为原始特征图的高、宽和通道数,padding为填充大小;将扩展后的区域分割为p×p的区块,将每个区块视为一个维数为P∈Rp×p×C的特征点,其中,P指代任意特征点;随后使用边长为ks的滑动窗口从扩展后的特征图左上角开始滑动,步长为stride,选定局部区域Xleft:left+ks,top:top+ks,其中(left,top)为左上角坐标,滑动窗口表示为X'∈Rks×ks×C;滑动窗口通过不断地循环滑动,最终得到所有局部区域的局部特征;其中,Nnum表示总滑动次数,计算公式为:;

将局部区域序列化并计算可见光与热红外模态的局部交叉注意力,具体步骤如下:定义局部位置编码E∈R1×(ks×ks)×1,将其广播至与S相同的维数,并加入到全部的滑动窗口中;通过局部线性映射层,将局部区域映射得到局部查询Qlocal与键值Klocal;通过全局线性映射层,将原始特征图映射为全局权重Vglobal;

计算可见光与热红外模态的局部交叉注意力,采用以下公式:

(a)

其中,dk表示特征通道维数;

将各个滑动窗口的局部交叉注意力结果进行合并,具体步骤如下:

将局部注意力结果分割为Nnum个局部特征图,得到S'∈Rks×ks×C,S'表示局部特征图,并将局部特征图恢复到滑动窗口对应的原始特征图的位置,对局部特征图的重叠部分求平均值,将局部注意力结果按对应位置相加,根据滑动窗口在各个区块的覆盖量计算注意力平均值,作为最终的局部注意力得分;

步骤四、目标跟踪预测:主干网络最终层的Transformer编码器输出可见光与热红外两个模态特征,使用卷积合并,输入预测头进行预测,得到目标位置。

2.根据权利要求1所述的基于卷积注意力融合的RGBT目标跟踪方法,其特征在于,步骤一中,数据集采用LasHeR数据集。

3.根据权利要求1所述的基于卷积注意力融合的RGBT目标跟踪方法,其特征在于,在主干网络的Transformer编码器之间的第4、7、10层插入卷积注意力融合模块。

4.根据权利要求1所述的基于卷积注意力融合的RGBT目标跟踪方法,其特征在于,采用一次计算全部区块的权重的方法得到V∈RH×W×C,V表示注意力权重值,通过相同的滑动窗口在V上滑动,得到。

5.根据权利要求4所述的基于卷积注意力融合的RGBT目标跟踪方法,其特征在于,可见光与热红外两个模态分别独立计算局部交叉注意力Attn,计算可见光模态的局部交叉注意力时,使用热红外模态的Vglobal来计算Attn,计算热红外模态的局部交叉注意力时,使用可见光模态的Vglobal来计算Attn。