1.基于残差通道注意与多层次分类回归的目标跟踪方法,其特征在于:包括如下步骤,
步骤1):构建深度孪生神经网络,所述深度孪生神经网络包括模板分支和搜索分支,所述模板分支和搜索分支中均采用ResNet50网络用于特征提取,所述模板分支中还设置有残差通道注意力机制;
步骤2):从图像样本集中截取模板区域图像和搜索区域图像,将截取的模板区域图像输入到模板分支中,以获取模板区域的特征图;将截取的搜索区域图像输入到搜索分支中,以获取搜索区域的特征图;
步骤3):将模板区域的特征图和搜索区域的特征图做深度互相关运算,以得到第一响应图;
步骤4):构建多层次分类回归网络,所述多层次分类回归网络中均包含分类分支和回归分支,所述分类分支输出每个像素点位置属于目标区域前景的概率,所述回归分支输出四条包围框对应像素点位置之间的距离,将所述响应图经过降维后输入到多层次分类回归网络中;
步骤5):对所述分类回归网络的得分进行加权融合,得到第二响应图,获取所述第二响应图上的每个像素点对应的前景概率和预测的包围框,结合前景概率和包围框的信息,计算每个像素点的总得分,总得分最高的像素点位置是跟踪目标的中心;
步骤6):使用训练数据集进行孪生神经网络和多层次分类回归网络的训练,使用训练好的网络计算待测图像序列中目标的得分图,根据得分图对目标进行定位。
2.根据权利要求1所述的基于残差通道注意与多层次分类回归的目标跟踪方法,其特征在于:所述模板分支和所述搜索分支的结构相同且参数共享。
3.根据权利要求1所述的基于残差通道注意与多层次分类回归的目标跟踪方法,其特征在于:残差通道注意力机制对所述模板区域图像的处理方法为P1):将所述模板区域图像做最大池化和均值池化操作,并输入到共享的多层感知机进行相加;
P2):将步骤P1)中相加后的结果经过Sigmoid激活函数得到通道权重,并将所述通道权重与模板区域图像的特征相乘后再与所述模板区域图像相加,以输出通道残差注意力机制。
4.根据权利要求1所述的基于残差通道注意与多层次分类回归的目标跟踪方法,其特征在于:所述模板区域图像是视频序列第一帧中目标的位置区域,所述搜索区域图像是以上一帧定位的目标位置为中心截取的二倍目标位置的区域。
5.根据权利要求1所述的基于残差通道注意与多层次分类回归的目标跟踪方法,其特征在于:所述多层次分类回归网络包含三个分类回归网络,所述三个分类回归网络的输入分别为浅层模板区域特征、中层模板区域特征和深层模板区域特征与对应搜索区域特征进行深度互相关运算的结果。
6.根据权利要求1所述的基于残差通道注意与多层次分类回归的目标跟踪方法,其特征在于:获取第二响应图上的每个像素点对应的前景概率和预测的包围框的方法为S1):根据第二响应图上像素点的位置在搜索区域图像中找到所述像素点的映射位置;
S2):对搜索区域图像上的像素点进行前景和背景分类,并在每个像素点位置回归处作为目标包围框;
S3):采用分类分支计算第二响应图上每个像素点的前景和背景的概率,采用回归分支计算第二响应图中每个像素点位置对应的目标包围框的大小。
7.根据权利要求1所述的基于残差通道注意与多层次分类回归的目标跟踪方法,其特征在于:步骤5)中采用目标尺度变换惩罚对所述每个像素的总得分进行重新排序。
8.根据权利要求1所述的基于残差通道注意与多层次分类回归的目标跟踪方法,其特征在于:步骤6)中,使用训练好的网络计算待测图像序列中目标得分图的方法为:M1):根据目标在测试图像序列第一帧中的位置裁剪出目标模板图像,将第一帧模板图像输入到训练好的孪生网络的模板分支中,经过残差通道注意力机制得到目标模板图像的特征图φ(Z);
M2):以上一帧图像目标所在位置为中心裁剪出当前帧的搜索区域,将当前帧的搜索区域输入到训练好的孪生网络的搜索区域分支中,获得当前帧的搜索区域图像的特征图φ(X);
M3):将第一帧的目标模板特征图φ(Z)与当前帧的搜索区域图像的特征图φ(X)的对应层特征做深度互相关运算,并将所述深度互相关运行的结果进行降维后输入到多层次分类回归网络中,以计算目标在当前帧搜索区域图像内的分类得分图;
M4):根据当前帧的最终得分图计算目标在当前帧中的位置;
M5):切换至下一帧测试图像,重复步骤M2)‑M4),直至最后一帧测试完成。