1.一种基于特征补偿的单目标跟踪方法,其特征在于,包括以下步骤:
S1,建立颜色直方图特征的目标跟踪模型分支:
S11,在目标跟踪任务开始之前,调用OpenCV工具包,先以人工标注的目标图像为基础,裁剪出带有背景信息的目标子图像E;
S12,将带有背景信息的目标子图像,根据目标的尺寸按照一定比例,做前景区域和背景区域的分离;同时,在像素值为0-32的整数范围内对像素进行尺度压缩,并分别依托尺寸相同的前景掩膜和背景掩膜计算出对应的前景区域和背景区域内相对于每个像素值的像素比例,即前景像素比例ρ(O)和背景像素比例ρ(B),像素比例ρ的表达式如下:ρ(O)=N(O)/|O|; (1-1)
ρ(B)=N(B)/|B|; (1-2)
其中,O字符表示前景O的图像区域,B字符表示背景B的图像区域;N(O)表示前景O的图像区域内非零像素值的个数,N(B)表示背景B的图像区域内非零像素值的个数;|O|表示前景O的图像区域内像素值的总个数,|B|表示背景B的图像区域内像素值的总个数;基于公式(1-1)、(1-2)计算得到当前帧后验像素颜色直方图模版的权重βt:其中,t表示当前帧,λ为超参数;
S13,在视频下一帧中,以前一帧目标中心为搜索区域中心的图像范围内,同所述S12,裁剪出子图像e,并对像素进行尺度压缩得到ψ;根据公式(1-1)、(1-2)和公式(2)得到前一帧的后验像素颜色直方图模版的权重βt-1,利用积分图公式最终得到颜色直方图响应fhist:其中,ψ是一个M通道像素压缩后的子图像,定义在当前帧裁剪图片e上;ψt为当前帧的M通道像素压缩后的子图像;H代表图片的对应每一个在整数范围内的像素点;u代表H网格中对应的每一个网格,ψ[u]是在ψ上对应的像素点,上角标T为矩阵转置;
S14,每次完成一帧的跟踪任务的同时,在预测得到的当前帧的位置,对后验像素直方图模版的权重βt进行更新,即分别对前景像素比例ρ(O)和背景像素比例ρ(B)进行更新,得到更新后当前帧的前景O的像素比例ρt(O)和更新后当前帧的背景B的像素比例ρt(B):ρt(O)=(1-ηhist)ρt-1(O)+ηhistρ′t(O)
ρt(B)=(1-ηhist)ρt-1(B)+ηhistρ′t(B); (4)其中,ρ′t(O)为当前帧的前景O的图像区域中的像素比例,ρ′t(B)为当前帧的背景B的图像区域中的像素比例,ρt-1(O)为前一帧的前景O的图像区域中的像素比例,ρt-1(B)为前一帧的背景B的图像区域中的像素比例;ηhist为像素比例更新的权重;
S2,建立方向梯度直方图特征的目标跟踪模型分支:
S21,在S11中以矩形框选出所要跟踪的目标图像上,裁剪出另一尺寸不同但同样带有背景信息的目标区域子图像E′,并提取K个通道三维的方向梯度直方图特征φk,乘上OpenCV包中的余弦窗函数,计算得到方向梯度直方图特征的模版其中, 均为定义在频域经过离散傅里叶变换得到的变量;u代表Γ网格中对应的每一个网格,Γ代表φk上对应每一个在整数范围内的网格;上角标i代表K通道的每一个通道, 是一个傅里叶变换后一个高斯信号的共轭;在频域中用*表示共轭,e表示元素乘法, 是方向梯度直方图特征φk经过傅立叶变换得到的每一个通道元素,K是通道的数目;
S22,将S21中得到的方向梯度直方图模版 进行傅里叶逆变换得到h[u],在视频下一帧中,以前一帧目标中心为搜索区域中心的图像范围内,裁剪一个子图像e′,并提取当前子图像的方向梯度直方图特征φ,利用线性函数计算得到当前帧方向梯度直方图分数fhog:fhog(φ,h)=∑u∈Γh[u]Tφ[u]; (7)
S23,在完成每一帧的跟踪任务之后,在预测得到的当前帧的位置,对方向梯度直方图特征的模版进行更新,即分别得到更新后的最终信号 和其中, 和 是从公式(6)中分别计算得到表示当前帧的信号, 和 表示前一帧的信号, 和 表示更新后的最终信号;ηhog为方向梯度直方图模板更新的权重;
S3,特征融合与建立分类器:
S31,将S13、S22中分别得到的颜色直方图响应fhist、方向梯度直方图分数fhog通过定义线性函数f(x)进行特征融合,即得:f(x)=γhogfhog(x)+γhistfhist(x); (9)
其中,γhog为方向梯度直方图响应的权重,γhsit为颜色直方图响应的权重,取f(x)的最大值所对应的点的坐标即为目标的中心坐标;
S32,通过f、fhog训练分类器:选出一批视频序列,经过S31中的特征融合,分别输出f、fhog,并令数据集的输入为X=[max(fhog);max(f)],令输出标签为h′θ,表示数据集的真实值,h′θ为0或1的整数,0表示模型的跟踪框已经偏离了目标,1表示没有偏离目标;令逻辑回归函数hθ表示分类器的输出:将数据按7:3的比例分成训练集和验证集,训练集通过交叉熵损失函数和梯度下降算法,经过多次迭代计算收敛后,得到公式(10)中逻辑回归模型的参数θ;再用验证集数据进行超参数的微调,通过设置不同数值的参数,计算出参数在不同值下得到的正确结果,选择正确结果最高的值作为最终的参数值,使得分类器在验证集上达到较好分类结果;
S4,判断是否需要接入卷积神经网络结构跟踪器:
S41,将f、fhog输入S32得到的分类器中,得到输出;在S32中分类器输出的连续值中选择
0.5作为阈值;当输出大于0.5时,表示融合模型的结果值得信任,不用切换接入卷积神经网络跟踪器;当输出小于0.5时,表示融合模型的结果不被接受,需切换接入卷积神经网络跟踪器;
S42,当卷积神经网络跟踪器当前帧预测出的目标响应分数较高时,重复利用S14、S23,即分别对后验像素直方图模版和方向梯度直方图模版进行更新;之后进入下一帧的跟踪任务,直至完成所有视频帧。