欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2023107427153
申请人: 长沙理工大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于对称交叉注意力和位置信息增强的Transformer目标跟踪方法,其特征在于,包括:S1、将模版图像和搜索区域图像视为一对图像输入骨干网络,分别提取得到模板和搜索区域的特征图;

S2、将所述模板和搜索区域的特征图送入特征融合网络,所述特征融合网络包括依次连接的编码器网络、解码器网络和位置信息增强模块,经融合、增强,得到增强后的搜索区域最终特征向量;

S3、将所述增强后的搜索区域最终特征向量输入预测头,通过分类函数和边界框的回归函数,生成目标跟踪结果。

2.根据权利要求1所述的基于对称交叉注意力和位置信息增强的Transformer目标跟踪方法,其特征在于,所述步骤S2包括:S20、将所述模板和搜索区域的特征图预处理,转化成模板和搜索区域的特征向量;

S21、将所述模板和搜索区域的特征向量输入编码器网络,所述编码器网络采用多层对称交叉注意力模块融合模版和搜索区域的特征,分别得到融合后的模板和搜索区域的特征向量;

S22、所述融合后的模板和搜索区域的特征向量经解码器网络进一步融合,得到搜索区域最终特征向量;

S23、将所述搜索区域最终特征向量输入位置信息增强模块进行增强,得到增强后的搜索区域最终特征向量。

3.根据权利要求2所述的基于对称交叉注意力和位置信息增强的Transformer目标跟踪方法,其特征在于,所述步骤S20包括:将所述模板和搜索区域的特征图分别沿着空间维度展平,同时添加正弦位置编码,然后使用1×1卷积来降低通道维度,然后从空间维度上展平,分别得到模板和搜索区域的特征向量。

4.根据权利要求2所述的基于对称交叉注意力和位置信息增强的Transformer目标跟踪方法,其特征在于,所述步骤S21中,所述对称交叉注意力模块包括:将所述模板和搜索区域的特征向量、模板和搜索区域对应的位置编码输入多头交叉注意力模块,得到初步融合的特征向量Xt:Xt=MultiHead(Xzq+Pzq,Xxk+Pxk,Xxυ),O

MultiHead(Q,K,V)=Concat(H1,...,Hh)W,将模板的特征向量、模板对应的位置编码,所述初步融合的特征向量、对应的位置编码输入多头交叉注意力模块,进行再次融合后,与所述模板的特征向量再相加,得到融合后的模板特征向量Xz,所述Xz经前馈网络FFN后与所述Xz相加得到融合后的模板特征向量Xz=Xzq+MultiHead(Xzq+Pzq,Xtk+Ptk,Xtυ),同时,将搜索区域的特征向量、搜索区域对应的位置编码,所述初步融合的特征向量、对应的位置编码输入多头交叉注意力模块,进行再次融合后,与所述搜索区域的特征向量再相加,得到融合后的搜索区域特征向量Xx,所述Xx经前馈网络FFN后,与所述Xx相加得到融合后的搜索区域特征向量Xx=Xxq+MultiHead(Xxq+Pxq,Xtk+Ptk,xtυ)O

其中, W都是参数矩阵,Xzq是模版分支的输入,Pzq是模版分支对应的位置编码,Xxk和Xxυ是搜索区域分支的输入,Pxk是搜索区域分支对应的位置编码,Xtk和Xtυ是初步融合的特征向量分支的输入,Ptk是初步融合的特征向量对应的位置编码。

5.根据权利要求2所述的基于对称交叉注意力和位置信息增强的Transformer目标跟踪方法,其特征在于,所述步骤S22中,所述解码器网络包括:将所述融合后的模板和搜索区域的特征向量输入多头交叉注意力模块进行再次融合,再经插入了激活函数的前馈网络FFN,在所述多头交叉注意力模块和前馈网络FFN进行残差连接后,进行norm归一化处理后,输出搜索区域最终特征向量。

6.根据权利要求2所述的基于对称交叉注意力和位置信息增强的Transformer目标跟踪方法,其特征在于,所述步骤S23中,所述位置信息增强模块包括:将所述搜索区域最终特征向量输入,经reshape形变得到搜索区域最终特征图X,包括通道数C个的高度H*宽度W的特征图;

将每个特征图分别经一维的水平全局池化和一维垂直全局池化后得到水平方向的中h w间特征图和垂直方向的中间特征图p,p:

再将所述垂直方向的中间特征图经permute转换函数后和所述水平方向的中间特征图沿着空间维度拼接得到T,再经过1×1的卷积变换,BatchNorm批标准化后,经Relu线性整流函数后与BatchNorm批标准化后的特征图相乘,得到编码水平方向和垂直方向空间信息的中间特征图f:h w

T=(Conυ(Concat(p,p))),

ft=φ(T),

f=T×ft,

将所述中间特征图f沿着空间维度拆分为两个独立的高度张量fh和宽度张量fw,然后分h w别经1×1卷积、sigmoid激活函数后,得到高度权重S 和宽度权重S ,与所述位置信息增强模块形变后的输入相乘,输出增强后的搜索区域最终特征图Y,经reshape形变输出增强后的搜索区域最终特征向量:h

S=τ(Conυ(fh)),

w

S=τ(Conυ(fw)),

其中,下标c表示对应第c个通道的特征图,i、j为水平坐标和垂直坐标,k表示第k行或第k列,τ()表示sigmoid激活函数,φ()表示Relu线性整流函数。

7.根据权利要求1所述的基于对称交叉注意力和位置信息增强的Transformer目标跟踪方法,其特征在于,所述步骤S3中,所述分类网络采用二元交叉熵损失函数,所述边界框回归网络采用L1损失和IOU损失函数。

8.根据权利要求1所述的基于对称交叉注意力和位置信息增强的Transformer目标跟踪方法,其特征在于,所述步骤S1中,还需先将模版图像和搜索区域图像进行预处理:将模板图像的图像块从视频序列的第一帧图像的目标边界框向外扩展成两倍边长获得;将搜索区域图像的图像块从前一帧的目标的边界框向外扩张成四倍边长获得;所述骨干网络采用修改后的ResNet50网络,将ResNet50网络删除了最后一个阶段和全连接层,同时将第四阶段的下采样的卷积步长从2改为1,将第四阶段的3×3卷积修改为步长为2的扩张卷积。

9.根据权利要求4所述的基于对称交叉注意力和位置信息增强的Transformer目标跟踪方法,其特征在于,所述对称交叉注意力模块的层数为4层;在得到融合后的模板特征向量Xz、 融合后的搜索区域特征向量Xx、 前均进行了norm归一化。

10.一种基于对称交叉注意力和位置信息增强的Transformer目标跟踪器,其特征在于,包括:至少一个处理器;以及与所述处理器通信连接的至少一个存储器,其中:所述存储器存储有可被所述处理器执行的程序指令,所述处理器调用所述程序指令能够执行如权利要求1至9任一项所述的方法。