1.一种基于孪生残差注意力聚合网络的视觉目标跟踪方法,其特征在于,包括:构建孪生残差注意力聚合网络作为视觉目标跟踪器,并进行训练;所述孪生残差注意力聚合网络包括:基于残差注意力聚合网络的孪生主干,多级特征融合模块,以及分类回归网络;所述基于残差注意力聚合网络的孪生主干用于计算模板图像与搜索图像的卷积特征图;多级特征融合模块用于计算模板图像与搜索图像特征的互相关响应图;分类回归网络包含分类分支、中心分支和回归分支,分类分支用于预测响应图中每个位置的类别,中心分支用于预测目标的中心,去除离群值,回归分支用于计算该位置的目标边界框,通过对三个分支结果的融合,得到最终的位置和包围框;
基于训练后的视觉目标跟踪器进行视觉目标跟踪,得到目标所在位置和包围框。
2.根据权利要求1所述的基于孪生残差注意力聚合网络的视觉目标跟踪方法,其特征在于,所述基于残差注意力聚合网络的孪生主干包括Self‑RAAN和Cross‑RAAN;所述Self‑RAAN嵌入在模板分支和搜索分支的骨干网络中,Cross‑RAAN以模板分支和搜索分支的骨干网络后三个卷积层的不同深度特征对作为输入,通过对模板分支和搜索分支使用暹罗交叉注意力,对特征的表示进行增强。
3.根据权利要求2所述的基于孪生残差注意力聚合网络的视觉目标跟踪方法,其特征在于,所述Self‑RAAN包括通道注意力模块和空间注意力模块,所述通道注意力模块和空间注意力模块均采用残差结构,Self‑RAAN输入的特征依次通过通道注意力模块和空间注意力模块,完成特征自适应增强操作。
4.根据权利要求3所述的基于孪生残差注意力聚合网络的视觉目标跟踪方法,其特征在于,所述通道注意力模块中通道特征增强的过程如下:5
Acm=f(MaxPool(X)),
5
Aca=f(AvgPool(X)),
Ac=σ{Acm+Aca},
Mc=Ac×X+X,
其中 表示最大池化的特征图,MaxPool(.)表示最大池化操作, 表示平均池化的特征图,AvgPool(.)表示平均池化操作, 表示输入的图像特征,5
表示通道注意力权值特征图,σ表示sigmoid操作,f 表示卷积核大小为5的一维卷积操作,H×W表示特征图的高和宽,C表示特征图的通道数, 表示输出的通道注意力特征图。
5.根据权利要求4所述的基于孪生残差注意力聚合网络的视觉目标跟踪方法,其特征在于,所述空间注意力模块中空间特征增强的过程如下:Xs=Cat(MaxPool(X),AvgPool(X))
3×3
As=σ{f (Xs)}
Ms=As×X+X,
其中Cat(.)表示将特征图按照通道维度进行拼接,Xs表示按照通道维度对最大池化的3
特征图和平均池化的特征图拼接后的图像特征, 表示空间注意力权值特征图,f×3表示卷积核大小为3×3的二维卷积操作,Ms表示输出的空间注意力特征图。
6.根据权利要求5所述的基于孪生残差注意力聚合网络的视觉目标跟踪方法,其特征在于,所述Self‑RAAN在孪生网络的两个分支中共享网络的权重,所述权重包括通道注意力权重和空间注意力权重。
7.根据权利要求2所述的基于孪生残差注意力聚合网络的视觉目标跟踪方法,其特征在于,所述Cross‑RAAN包含模板分支和搜索分支两个分支,其中每个分支包含原始分支、通道注意力分支和交叉注意力分支三个子分支,原始分支保留原始的特征,通道注意力分支根据不同通道的权重生成对应的通道特征,交叉注意力分支通过交叉使用孪生网络两个分支的通道权重生成交叉特征。
8.根据权利要求7所述的基于孪生残差注意力聚合网络的视觉目标跟踪方法,其特征在于,所述通道注意力分支采用和Self‑RAAN中通道注意力模块相同方式计算通道注意力权重。
9.根据权利要求7所述的基于孪生残差注意力聚合网络的视觉目标跟踪方法,其特征在于,所述交叉注意力分支中交叉特征增强的过程如下:k k
Az=σ{f(MaxPool(Z))+f(AvgPool(Z))},k k
Ax=σ{f(MaxPool(X))+f(AvgPool(X))},Mz=(Az+Ax)×Z+Z,
Mx=(Ax+Az)×X+X,
k
其中 表示通道注意力权值特征,σ表示sigmoid操作,f表示卷积核大小为k的一维卷积操作,孪生网络的两个分支在Cross‑RAAN中共享一维卷积的参数,MaxPool(.)表示最大池化操作,AvgPool(.)表示平均池化操作, 表示模板分支的输入特征,表示搜索分支的输入特征, 表示通道注意力权值特征,表示通道注意力权值特征, 表示输出的交叉注意力特征,H×W表示特征图的高和宽,C表示特征图的通道数。
10.根据权利要求1所述的基于孪生残差注意力聚合网络的视觉目标跟踪方法,其特征在于,所述多级特征融合模块中多级特征融合过程如下:Ri=ZiXi,i={3,4,5},
其中 i={3,4,5}表示经过Cross‑RANN增强的模板分支的后三层特征,i={3,4,5}表示经过Cross‑RANN增强的搜索分支的后三层特征,表示使用1×1的卷积核将Ri,i={3,4,5}的通道数统一压缩后的特征,表示深度相关操作,和 表示卷积核大小为1×1的二维卷积操作,Cat(.)表示将特征图按照通道维度进行拼接,R表示综合浅层特征和深层特征的交叉相关响应图。