欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2018114053271
申请人: 长沙理工大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于多级特征的双学习模型目标跟踪方法,其特征在于,针对目标视频序列,在给定第一帧中目标初始状态的情况下,在后面的视频序列中估计目标的状态,具体包括如下步骤:A1、读取目标视频序列,获得第t帧图像中的目标位置,t=1;

A2、在第t+1帧图像中裁剪出包含有所述目标位置的候选区域;

提取所述候选区域中卷积层的深度特征和所述候选区域的低级特征,将每一所述卷积层中深度特征的输出和低级特征的输出作为目标的多通道卷积神经网络的特征图M、N分别为特征图的宽和高,D为通道个数;

A3、训练相关滤波器模型:

将所述候选区域分为若干cell小块,针对每一cell小块建立高斯函数标签Y:通过所述高斯函数标签Y和特征图Xl,构建多通道卷积神经网络中每一层、每一特征通道的相关滤波器;

根据所述相关滤波器获得所述每一层、每一特征通道的特征图;

根据所述每一层、每一特征通道的特征图获得每一层特征图的相关响应图和每一层特征图的相关响应图中最大响应值所在的位置;

A4、预测目标位置:

将当前层的最大响应值与前一层的最大响应值加权得到前一层最大响应值的位置,通过迭代,得到最终响应图;

在最终响应图中找到最大响应值,将最大响应值的位置作为目标的预测位置;

A5、分类器模型重检测,根据每一层特征图的相关响应图获得第t+1帧图像的HPSR指标;

当HPSR指标大于或等于设定阈值θ时,所述目标的预测位置作为目标的最终位置;

当HPSR指标小于设定阈值θ时,启用分类器模型,将分类器模型获得的结果与目标的预测位置相结合,得到第t+1帧图像目标的最终位置;

A6、双模型的更新,实时在线更新相关滤波器模型和分类器模型,用于第t+2帧图像的目标位置确定。

2.根据权利要求1所述的双学习模型目标跟踪方法,其特征在于,所述候选区域为第t帧图像中以目标位置为中心的2.5倍区域。

3.根据权利要求1所述的双学习模型目标跟踪方法,其特征在于,所述步骤A2中的深度特征包括高级特征和中级特征;

提取卷积层Conv3-4、卷积层Conv4-4、卷积层Conv5-4的特征图,作为高级特征;

提取卷积层Conv1-2、卷积层Conv2-2的特征图,作为中级特征。

4.根据权利要求1所述的双学习模型目标跟踪方法,其特征在于,所述步骤A2中的低级特征包括HOG特征、Gray特征和Color Name特征,将上述的三种特征联在一起,作为低级特征。

5.根据权利要求1所述的双学习模型目标跟踪方法,其特征在于,在提取深度特征和低级特征之前,将所述候选区域的图像进行单精度处理和重采样,归一化后计算出均值,再对图像去均值;

利用VGGNet-19预训练的网络模型对所述候选区域进行特征提取,提取不同卷积层的深度特征。

6.根据权利要求1所述的双学习模型目标跟踪方法,其特征在于,所述步骤A3包括:A31、将所述候选区域分为若干cell小块,针对每一cell小块建立高斯函数标签Y:其中,Y(m,n)表示在(m,n)处的标签,m∈{0,1,...,M-1},n∈{0,1,...,N-1};σ为参数,其中,w和h分别表示第t帧中目标位置的宽度和高度,σ'表示输出因子,取值为0.1,cell_size表示第t+1帧图像中cell小块的边长,取值为4;

A32、构建多通道卷积神经网络中每一层、每一特征通道的相关滤波器Wld:其中,λ为相关滤波器的正则化参数, 和 分别为Xl和Y的离散傅里叶变换, 为Xl的复数共轭;

d

A33、根据所述相关滤波器Wl获得所述每一层、每一特征通道的特征图得到第l层的相关响应图El和相关响应图El中的最大响应值:其中, 为傅里叶逆变换操作, 为 的离散傅里叶变换,相关响应图El的大小为M×N;

将全部的多级特征的响应图记为集合{E1,E2...,El}。

7.根据权利要求1所述的双学习模型目标跟踪方法,其特征在于,所述步骤A4包括:A41、将当前层的最大响应值与前一层的最大响应值加权得到前一层最大响应值的位置,通过迭代,得到最终响应图;

El-1(m,n)=αl-1El-1(m,n)+αlEl(m,n)(5)其中,El(m,n)表示第l级的特征图中在(m,n)所在的响应图位置具有最大的响应值,αl为第l级的权重;

得到最终的响应图E;

A42、通过最终的响应图E找到最大响应值,定位当前跟踪目标的中心位置pt=(xt,yt);

(xt,yt)=argm,nmax E(m,n)  (6)。

8.根据权利要求1所述的双学习模型目标跟踪方法,其特征在于,其中,max(El)为El中的最大值,μl和σl分别为在第t+1帧图像中第l层的响应图的平均值和标准偏差,βi为第l层相关响应图El的权重系数。

9.根据权利要求7所述的双学习模型目标跟踪方法,其特征在于,所述步骤A5中,启用分类器模型,在步骤42得到的目标pt=(xt,yt)周围采集候选的样本集xSVM,利用更新完成SVM分类:其中,scores为分类器的分类分数, 和b分别为分类器的参数和偏置;

将计算得到的最大scores的位置确定为分类器模型得到的位置,然后与相关滤波器模型的结果pt=(xt,yt)进行加权综合,得到最终结果。

10.根据权利要求9所述的双学习模型目标跟踪方法,其特征在于,所述步骤A6包括:A61、更新相关滤波器模型,更新第t+1帧的分子 和分母 从而更新第t+1帧的相关滤波器Wld,其中, η为学习

率;

A62、更新分类器模型,在第t+1帧的目标位置附近以目标大小的窗口收集正负样本,提取特征后进行在线SVM训练;

当给定的训练数据集为G={(xSVM,j,ySVM,j),j=1,...r},r为样本的个数,xSVM,j为训练样本,ySVM,j为样本标签,若样本的包围框面积为m,第t+1帧的目标包围框为n,他们的重叠率s=(m∩n)/(m∪n),当s>0.5时为正样本,s<0.1时为负样本,训练的目标函数为:更新完成后,用于第t+2帧目标位置的确定。