1.一种视频目标跟踪方法,其特征在于,包括:
获取预先构建的结合二阶特征的时空相关滤波器模型;
对该模型进行优化求解,得到子问题f的计算模型、子问题g的计算模型和子问题h的计算模型,其中f为相关滤波器,g、h为求解相关滤波器f过程中的辅助变量;
获取视频数据中的第一帧图像以及第一帧图像中待跟踪的目标,提取第一帧图像中的目标特征;
根据第一帧图像中提取的目标特征计算第一帧图像的相关滤波器;
获取视频数据中的第二帧图像,提取第二帧图像的目标特征,根据第二帧图像的目标特征以及第一帧图像计算得到的相关滤波器对第二帧图像进行目标检测和尺度检测;
根据第二帧图像的目标特征以及第一帧计算的相关滤波器的值,利用子问题f的计算模型、子问题g的计算模型和子问题h的计算模型对f、g、h进行优化迭代更新,输出结果表示本次更新完成后的新的相关滤波器;
根据第二帧图像的目标检测和尺度检测的结果,计算并绘制第二帧的目标区域;
依次对每一帧进行目标特征提取、目标检测和尺度检测以及优化更新迭代,并计算和绘制目标区域的操作,直到计算并绘制视频的最后一帧图像的目标区域;
完成最后一帧图像的目标区域的绘制后,输出跟踪视频和视频跟踪速率FPS。
2.根据权利要求1所述的视频目标跟踪方法,其特征在于,所述结合二阶特征的时空相关滤波器模型为:在上式中, 为一阶数据项, 为二阶数据项,
为空间正则化项, 为时间正则化项;
样本xt表示每一帧t进行特征提取的结果, 包括D个大小为M*N的特征图,表示样本xt第d个M*N的特征图,d=1,…,D,y表示高斯形状的标签,w和f是空间正则化矩M×N×D阵和相关滤波器,F表示F范数,xt、ft、ft‑1、y的实数空间的矩阵维度分别满足xt∈R ,ftM×N×D M×N×D M×N∈R ,ft‑1∈R ,y∈R ,λ为二阶特征的惩罚系数,ft‑1为上一帧的输出值,μ为时间正则化项的惩罚系数。
3.根据权利要求1所述的视频目标跟踪方法,其特征在于,所述对该模型进行优化求解,得到子问题f、子问题g和子问题h的过程包括:f满足f=g,得到二阶时空相关滤波器模型的增广拉格朗日形式为:s为拉格朗日乘子,γ为步长参数,g为辅助变量;
h满足 根据所述二阶时空相关滤波器模型的增广拉格朗日形式,得到优化函数:利用ADMM算法将优化函数划分为如下几个子问题:
(i+1) (i+1) (i+1) (i+1)
f 表示本次更新完成后的滤波器,g 、h 表示本次更新的滤波器f 通过ADMM(i)算法求解过程中得到的辅助变量,h 表示上次更新的相关滤波器通过ADMM算法求解过程中得到的辅助变量;
对这些子问题进行求解,结果为:
上式中, 表示滤波器f的离散傅里叶变换, 表示滤波器f在D个通道中的第j个通道的输出,T表示矩阵转置运算,I表示单位矩阵,表示提取图像特征得到的样本x通过帕塞瓦尔定理得到的结果, 表示 通过快速傅里叶变换得到的第j个通道的输出,表示高斯形状标签y通过帕塞瓦尔定理和快速傅里叶变换得到的结果, 和 表示本次更新的滤波器f中的辅助变量g和h通过帕塞瓦尔定理和快速傅里叶变换得到结果的第j个通道的输出,W表示由D个对角矩阵Diag(w)拼接而成的大小为DMN*DMN的对角矩阵。
4.根据权利要求1所述的视频目标跟踪方法,其特征在于,所述进行目标检测和尺度检测的过程包括:提取新一帧图像的灰度特征、颜色特征和方向梯度直方图特征得到目标外观特征,对目标外观特征和上一帧更新的相关滤波器做卷积互相关的计算,根据互相关的计算结果进行高斯混合模型处理,得到目标检测的结果;
根据目标外观特征和上一帧更新的相关滤波器以及尺度自适应的跟踪方法完成尺度检测,得到尺度检测的结果。
5.根据权利要求4所述的视频目标跟踪方法,其特征在于,所述卷积互相关的计算过程包括:对目标外观特征进行余弦窗加窗处理,将加窗处理后的目标外观特征与上一帧更新的相关滤波器进行快速离散傅里叶变换,接下来对计算结果进行快速离散傅里叶反变换得到互相关的计算结果。
6.根据权利要求4所述的视频目标跟踪方法,其特征在于,所述根据目标外观特征和上一帧更新的相关滤波器以及尺度自适应的跟踪方法完成尺度检测,得到尺度检测的结果的过程包括:通过学习独立判别上一帧相关滤波器进行平移和尺度估计,学习目标尺度变化引起的外观变化,并对目标位置进行学习尺度滤波,得到准确的目标尺度估计。
7.一种视频目标跟踪系统,其特征在于,包括:
获取模块,用于获取预先构建的结合二阶特征的时空相关滤波器模型;
优化求解模块,用于对该模型进行优化求解,得到子问题f的计算模型、子问题g的计算模型和子问题h的计算模型,其中f为相关滤波器,g、h为求解相关滤波器f过程中的辅助变量;
第一提取模块,用于获取视频数据中的第一帧图像以及第一帧图像中待跟踪的目标,提取第一帧图像中的目标特征;
第一计算模块,用于根据第一帧图像中提取的目标特征计算第一帧图像的相关滤波器;
目标和尺度检测模块,用于获取视频数据中的第二帧图像,提取第二帧图像的目标特征,根据第二帧图像的目标特征以及第一帧图像计算得到的相关滤波器对第二帧图像进行目标检测和尺度检测;
更新模块,用于根据第二帧图像的目标特征以及第一帧计算的相关滤波器的值,利用子问题f的计算模型、子问题g的计算模型和子问题h的计算模型对f、g、h进行优化迭代更新,输出结果 表示本次更新完成后的新的相关滤波器;
单帧绘制模块,用于根据第二帧图像的目标检测和尺度检测的结果,计算并绘制第二帧的目标区域;
整体绘制模块,用于依次对每一帧进行目标特征提取、目标检测和尺度检测以及优化更新迭代,并计算和绘制目标区域的操作,直到计算并绘制视频的最后一帧图像的目标区域;
输出模块,用于在完成最后一帧图像的目标区域的绘制后,输出跟踪视频和视频跟踪速率FPS。
8.根据权利要求7所述的视频目标跟踪系统,其特征在于,所述目标和尺度检测模块包括:目标检测模块,用于提取新一帧图像的灰度特征、颜色特征和方向梯度直方图特征得到目标外观特征,对目标外观特征和上一帧更新的相关滤波器做卷积互相关的计算,根据互相关的计算结果进行高斯混合模型处理,得到目标检测的结果;
尺度检测模块,用于根据目标外观特征和上一帧更新的相关滤波器以及尺度自适应的跟踪方法完成尺度检测,得到尺度检测的结果。
9.根据权利要求8所述的视频目标跟踪系统,其特征在于,所述目标检测模块包括卷积互相关计算模块,用于对目标外观特征进行余弦窗加窗处理,将加窗处理后的目标外观特征与上一帧更新的相关滤波器进行快速离散傅里叶变换,接下来对计算结果进行快速离散傅里叶反变换得到互相关的计算结果。
10.根据权利要求8所述的视频目标跟踪系统,其特征在于,所述尺度检测模块包括尺度自适应跟踪模块,用于通过学习独立判别上一帧相关滤波器进行平移和尺度估计,学习目标尺度变化引起的外观变化,并对目标位置进行学习尺度滤波,得到准确的目标尺度估计。