1.基于深度学习分层视频注意力的单目标跟踪方法,其特征在于,所述方法包括以下步骤:步骤1、读取数据集得到原始视频数据和每帧中目标坐标、目标遮挡比例,步骤2、利用目标遮挡比例筛选出基准帧,构建以基准帧为第一帧的初始视频序列和初始坐标真值序列,步骤3、对初始坐标真值序列进行坐标扰动,利用扰动后的坐标对初始视频序列进行裁剪得到裁剪视频序列,利用扰动后的坐标对初始坐标真值序列进行变换得到裁剪坐标真值序列,步骤4、对裁剪视频序列和裁剪坐标真值序列进行数据增强得到增强视频序列和增强坐标真值序列,步骤5、利用增强视频序列和增强坐标真值序列对分层帧间滑动窗口因果注意力网络模型进行训练,步骤6、利用训练完成分层帧间滑动窗口因果注意力网络模型进行自回归目标跟踪。
2.根据权利要求1所述的基于深度学习分层视频注意力的单目标跟踪方法,其特征在于,步骤1中,数据集的视频采样频率设定为10帧/秒。
3.根据权利要求1所述的基于深度学习分层视频注意力的单目标跟踪方法,其特征在于,步骤2中,当遮挡比例大于50%,且距离视频尾帧至少有帧时,判定为有效帧,为大于等于48的自然数,从有效帧中随机选取一个有效帧作为基准帧时,基于区间内遮挡比例的方差进行采样优化,具体如下,设定窗口长度为帧,遍历所有帧的遮挡比例,计算其对应窗口内的方差,筛选出有效帧位置处的方差计算权重,归一化权重以形成概率分布,,
其中,表示第 个有效起始帧被选择的概率,表示第个有效起始帧对应窗口的遮挡比例方差,表示第 个有效起始帧对应窗口的遮挡比例方差;
计算出概率分布,采用随机加权抽样方法选取最终的基准帧,初始视频序列定义为,其中,表示从基准帧开始的第帧,初始坐标真值序列,其中, 表示第帧的初始坐标真值。
4.根据权利要求3所述的基于深度学习分层视频注意力的单目标跟踪方法,其特征在于,步骤3中,坐标扰动采用动态噪声注入技术,初始坐标真值序列中第帧的初始坐标真值表示为:,
其中,为第帧框左上角顶点横坐标,为第帧框左上角顶点纵坐标, 为第帧框宽度,为第帧高度,扰动后的第帧的初始坐标真值计算为:,
,
,
,
,
其中,为第帧框左上角顶点扰动横坐标,为第帧框左上角顶点扰动纵坐标,为第帧框扰动宽度,为第帧扰动高度,表示自然常数, 表示方差为1的高斯噪声采样值,表示取值范围在 0~1 之间的均匀噪声采样值;
搜索区域裁剪采用自适应放大策略,以扰动后坐标为中心,第帧的裁剪边长计算为:,
其中,为控制裁剪尺度的裁剪因子;
基于裁剪边长和扰动坐标,生成裁剪视频序列,其表达式为:,
其中,每个元素,通过以下生成,
,
,
表示对图像执行以的中心点为中心坐标、边长为的正方形裁剪操作;
裁剪坐标真值序列通过以下处理得到,生成裁剪视频序列时,对初始坐标真值序列进行等价映射处理,最终形成裁剪坐标真值序列。
5.根据权利要求4所述的基于深度学习分层视频注意力的单目标跟踪方法,其特征在于,步骤4中:增强视频序列由对裁剪视频序列的所有帧同步施加相同的旋转角度、翻转方向、高斯模糊和颜色通道置换空间变换后得到;
增强坐标真值序列 由裁剪坐标真值序列经过裁剪视频序列变换为增强视频序列时的等价坐标映射后得到。
6.根据权利要求5所述的基于深度学习分层视频注意力的单目标跟踪方法,其特征在于,步骤5中,分层特征提取网络采用四级渐进式架构,前两级采用局部帧内窗口注意力机制进行细粒度特征提取,后两级采用全局帧间滑动窗口因果注意力实现跨帧信息融合;
其中,全局帧间滑动窗口因果注意力模块具体计算步骤如下,首先,进行特征组合,对于第帧输入的特征,计算为,
其中,表示第帧图片的特征,表示第帧坐标的特征,表示将向量沿第1个维度拼接;然后,输入总特征序列计算为:,
帧间滑动窗口因果注意力限制矩阵计算过程如下:,
,
其中,表示第帧输入的第个特征对第帧输入的第个特征的注意力,具体为,表示特征的总分块个数,是小于等于大于0的自然常数,最后,输入总特征序列,帧间滑动窗口因果注意力限制矩阵,注意力模块输出特征计算为:,
其中,表示矩阵的转置,、 和 均为网络模型的可学习参数,表示每块特征的长度;
帧间采用旋转位置编码,帧内采用固定位置编码;预测置信度采用预测坐标和预测真值的交并比作为真值,来表示模型对当前预测坐标的置信程度,用于推理时修正跟踪状态;损失函数设计融合坐标回归误差和预测置信度误差,采用加权求和方式平衡不同损失项的贡献度。
7.根据权利要求6所述的基于深度学习分层视频注意力的单目标跟踪方法,其特征在于,步骤6中,推理阶段采用增量式处理流程,通过循环缓存机制保留最近帧的特征状态,搜索区域动态调整算法中,以第一帧坐标初始化搜索区域,在后续预测时根据相邻两帧预测坐标交并比作为权重对搜索区域进行滑动平均更新,当置信度低于阈值时扩大搜索区域范围。
8.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,处理器执行程序时实现如上述权利要求1至7中任意一项所述的基于深度学习分层视频注意力的单目标跟踪方法。
9.一种计算机可读存储介质,其上存储有计算机指令,其特征在于,该计算机指令被处理器执行时实现如权利要求1-7中任意一项所述的基于深度学习分层视频注意力的单目标跟踪方法。