1.一种单目标长时跟踪方法,其特征在于,包括以下步骤:
1)获取视频帧序列,根据跟踪目标从视频帧序列中确定第一模板区域和第一搜索区域;所述第一模板区域为首次识别到目标的视频帧中,对目标附近区域剪裁出的第一设定尺寸的区域;所述第一搜索区域为首次识别到目标的视频帧中,对包含目标的区域剪裁出的第二设定尺寸的区域;
2)将视频当前帧的模板区域和视频当前帧的搜索区域输入卷积神经网络,提取两幅图像的特征,得到两幅特征图;
3)将所述两幅特征图降维压平为一维特征向量,进行特征融合,得到一组融合后的特征向量;
4)将所述融合后的特征向量通过卷积核映射到高维,再通过位置预测网络利用映射后的特征定位目标在当前帧中的位置获取本次预测结果,同时将融合后的特征也输入评分网络,对预测结果进行置信评分;
5)根据不同的置信评分设置相应的跟踪策略,具体如下:
①若评分网络输出的置信分数ST大于第一设定阈值τ1,且当前时刻与上一次更新模板区域时刻之间的间隔大于Tu,则将本次预测结果加入模板池,作为更新视频下一帧的模板区域时的参考;在计算并更新模板区域后,将更新的模板区域与视频下一帧的搜索区域一起输入卷积神经网络,所述搜索区域是根据本次预测结果确定的;
②若ST大于第一设定阈值τ1,而当前时刻与上一次更新模板区域时刻之间的间隔小于Tu,则不进行模板区域更新,继续进行下一帧的跟踪;
③若ST小于第一设定阈值τ1,且大于第二设定阈值τ2,则不进行模板区域更新,并将下2
一帧的搜索区域以当前帧预测结果为中心,扩大至原搜索区域面积的2倍;
④若ST小于第二设定阈值τ2,则不进行模板区域更新,输入视频当前帧的整幅图像并使用回归网络对目标位置进行粗定位,再通过回归网络中的分类头,判断粗定位区域内是否包含目标;若包含目标,则根据目标位置,对目标附近区域裁剪出第二设定尺寸的区域作为视频下一帧新的搜索区域,否则不更新搜索区域,直接进行下一帧的跟踪;
其中第二设定阈值τ2小于第一设定阈值τ1;
6)重复以上步骤2)‑5)直至视频帧序列结束。
2.根据权利要求1所述的单目标长时跟踪方法,其特征在于,步骤4)中,位置预测网络的目的为学习一个回归函数y=f(x;W),所述回归函数中,y表示预测结果,x为输入图像,W是所求回归函数的权值;位置预测网络使用RPN函数生成候选目标框,所述回归函数的训练通过下式进行:其中 表示孪生网络特征提取函数,ζ为RPN函数,yi为输入xi对应的标签,zi为模板图像。
3.根据权利要求1所述的单目标长时跟踪方法,其特征在于,步骤4)中,评分网络的输入为模板区域特征与搜索区域特征融合后的特征,该网络的目的是学习一个函数从而最大化置信函数sθ(y,x),最后通过归一化控制,使评分网络输出0‑1之间连续值;
其中,置信函数为 表示特征提取函数,ψ(·)表示特征
融合函数,y表示模板区域图像,x表示搜索区域图像,b为超参数;
置信函数通过以下目标函数训练:
L(θ;xi,yi)=∫yl(sθ(y,xi),a(y,yi))dy其中l为损失函数,θ为网络通过训练学习到的参数,a(y,yi)为标签函数,y表示模板区域图像,y服从高斯正态分布,xi表示第i帧搜索区域图像,yi为输入xi对应的标签,表示第i帧模板区域图像。
4.根据权利要求1所述的单目标长时跟踪方法,其特征在于,步骤4)中,所述评分网络训练时的损失为GFocal损失:为FQ损失, 为DF损失, 为GIoU损失,Npos为正样本,λ0和λ1分别是 和 的权值,z代表样本位置中心坐标, 在 时取值为1,否则为0。
5.根据权利要求1所述的单目标长时跟踪方法,其特征在于,步骤3)中,通过Transformer编码器和译码器结构进行特征融合;其中,Transformer编码器结构为带有前馈网络的多头自注意力模块;译码器由多头自注意力、多头交叉注意力和前馈网络组成。
6.根据权利要求1所述的单目标长时跟踪方法,其特征在于,步骤5)中,第一设定阈值τ1在0.65‑0.75范围内选择,第二设定阈值τ2在0.3‑0.4范围内选择, 其中frameg为视频序列的总帧数。
7.根据权利要求1所述的单目标长时跟踪方法,其特征在于,步骤5)中,当采用策略①时,有:为更新后模板区域特征, 为首帧模板区域特征,
为融合模板池内所有模板图像特征的融合特征,融合方法采用concat函数;λ为超参数,表示Element‑wise乘积。
8.根据权利要求1所述的单目标长时跟踪方法,其特征在于,步骤5)中,策略④中所述回归网络使用骨干网络和特征增强网络提取并输出特征 在头部网络训练回归头和分类头;所述回归网络的输入为目标模板和全局图像,经特征提取网络后,通过分类头判别全局图像中的目标和背景的分类得分,若输出的目标最高分类得分大于设定得分阈值,则以回归头粗定位目标位置;所述全局图像指的是视频当前帧的整幅图像;所述回归头使用RPN函数,通过非极大抑制选择出回归框,以该框的中心坐标裁剪出第二设定尺寸的区域作为视频下一帧新的搜索区域,完成当前的跟踪;所述分类头训练一个判别函数,将搜索区域特征与模板区域特征进行匹配得到分类得分:为模板特征,g(·)为线性互相关算子,FFN是一个前馈网络,包含卷积层、归一化层和softmax层,输出0‑1之间的连续值作为分类得分。
9.根据权利要求8所述的单目标长时跟踪方法,其特征在于,所述设定得分阈值为
0.55。
10.根据权利要求1所述的单目标长时跟踪方法,其特征在于,所述第一设定尺寸为3×
128×128,第二设定尺寸为3×256×256。