欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2020115608299
申请人: 杭州电子科技大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2025-12-19
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.基于特征在线选择的时空相关滤波目标跟踪方法,其特征在于,步骤如下;

步骤一:

采用时空相关滤波框架作为主体跟踪框架,在经典相关滤波框架的基础上,在跟踪目标周围提取感知区域特征,作为负样本对相关滤波器进行抗干扰训练,在保证实时性的同时,提高滤波器应对跟踪环境变化的能力;

在每帧跟踪图像中,提取k个感知区域特征信息,作为负样本信息加入到时空相关滤波器的训练中,提升滤波器应对背景信息能力,如式(1)为时空相关滤波器训练公式:其中w为期望得到的相关滤波器,A0为通过循环矩阵得到的特征响应,y表示标准高斯响应输出,Ai表示通过采集目标周围的感知区域,得到的负样本特征响应,λ1、λ2表示对应的控制参数;

步骤二:

将CN特征加入到时空相关滤波框架中,并利用HOG特征和CN特征的互补特性,在岭回归的架构下,利用训练好的时空相关滤波器分别对HOG特征和CN特征的特征矩阵进行计算,得出各自的响应输出,对跟踪目标进行定位跟踪;

步骤三:

利用预训练好的特征描述算子约束特征响应输出变化系数;根据变化系数和特征描述算子的关系确定特征融合系数,控制特征根据跟踪环境变化自适应融合,使特征对跟踪环境的变化有更好的鲁棒性;

步骤二具体操作如下:

将CN特征加入到时空相关滤波框架中,并利用HOG特征和CN特征的互补特性,在岭回归的架构下,利用训练好的时空相关滤波器分别对HOG特征和CN特征的特征矩阵进行计算,得出各自的响应输出,对跟踪目标进行定位跟踪;

1.CN特征响应输出计算步骤如下:

(1)PCA降维处理CN特征;

首先将提取到的CN特征采用PCA降维的方法进行处理,将D1维CN特征降维到D2维;通过最小化损失函数,来选择一个最适合每帧的颜色特征降维映射:其中, 为本帧影响因子,如式(3)所示, 为前i帧的平滑影响因子, 为总的影响因子,αp为当前帧权重系数,αi为第i帧图像权重系数;

其中,Bp为D1×D2的当前帧映射矩阵,[m,N]为当前帧搜索区域的大小,(m,n)为上一帧确定的目标位置, 为当前帧D1维的特征图;

(2)计算CN颜色特征的响应输出

经过PCA降维处理,得到降维映射矩阵Bp,将特征图的特征维度降维到D2维,然后将降维后的特征矩阵输入至训练好的CN特征的时空相关滤波器中进行计算,得到CN特征响应输出;最终CN特征响应输出计算方法如式(4):其中,fcn(·)为候选区域在滤波器计算下的响应输出,Ω表示计算特征矩阵的像素区域,βt‑1为式(1)计算得到的时空相关滤波器的模型参数, 表示本帧的CN特征图;

2.HOG特征响应输出计算步骤如下:

对HOG特征直接进行处理,利用训练好的HOG特征的时空相关滤波器,对下一帧图片的候选区域提取的HOG特征进行计算,得到HOG特征的响应输出,计算式如下:其中fhog(·)为候选区域在滤波器计算下的响应输出,ht‑1为式(1)计算得到的HOG特征滤波器模型参数, 为本帧HOG特征图;

步骤三具体操作如下:

利用预训练好的特征描述算子约束特征响应输出变化系数;根据变化系数和特征描述算子的关系确定特征融合系数,控制特征根据跟踪环境变化自适应融合,使特征对跟踪环境的变化有更好的鲁棒性;

1.特征描述算子的训练

特征描述算子通过线下训练框架,针对HOG特征和CN特征敏感的跟踪环境变化,训练出HOG特征和CN特征的环境变化特征描述算子和环境不变特征描述算子,来提升特征应对跟踪环境变化的能力;

(1)HOG特征

HOG特征根据梯度信息进行定位,跟踪目标的形变和旋转都会改变梯度信息,对跟踪精度造成大的影响;针对HOG特征对旋转目标敏感的情况,对HOG特征预训练的特征描述算子,针对旋转这一跟踪环境变化,训练出旋转变化特征描述算子,同时选取没有旋转情况出现的训练集训练旋转不变特征描述算子,根据跟踪过程中跟踪环境的变化选择适合的特征描述算子,提升HOG特征应对跟踪目标出现旋转的时的抗干扰能力;

(2)CN特征

CN特征是根据颜色信息来对目标进行跟踪,因此受光照变化等因素的影响大;针对CN特征对光照变化敏感的情况,训练光照变化特征描述算子,提升CN特征应对跟踪过程中出现明显光照变化等会影响跟踪目标颜色信息的能力;同时,也根据没有明显光照变化的跟踪过程训练出光照不变特征描述算子,根据跟踪情况选择对应算子,以此提高本发明方法应对复杂多变跟踪环境的能力;

(3)特征描述算子训练过程

特征描述算子的本地训练集全部取自OTB标准视频库,每种特征的训练集都分为环境变化特征训练集和环境不变特征训练集,分别用来训练每种特征的变化特征描述算子和不变特征描述算子;每种训练集都包含三个子训练集,负样本训练集、正样本训练集、跟踪训练集;

(a)环境变化特征描述算子训练

环境变化特征描述算子训练时,针对每种特征所敏感的跟踪环境变化,筛选出特定跟踪视频序列组成各自的负样本训练集;HOG特征的负样本训练集由存在着旋转干扰的跟踪视频序列图片组成,同时CN特征的负样本训练集由存在着光照变化干扰的视频序列图片组成;

环境变化特征描述算子训练集还包括正样本训练集和跟踪训练集,正训练集则由无干扰跟踪视频图片组成,跟踪训练集是完整的跟踪序列,为了在训练过程中模拟真实的跟踪环境,与正负训练集的响应输出对比,从而计算出环境变化特征描述算子;环境变化特征描述算子训练公式如下:其中,Lp表示环境变化特征描述算子,n表示视频序列的帧数,fp表示针对环境变化训练集的控制系数, 则分别表示跟踪训练集、正样本训练集、负样本训练集特征的响应输出;

(b)环境不变特征描述算子训练

环境不变特征训练集训练方式和环境变化特征训练集相同,区别仅在于负样本训练集;环境不变特征描述算子训练集的负样本训练集不包含针对性的跟踪环境变化,即HOG特征环境不变特征描述算子训练中,图片序列没有旋转情况出现,同样,CN特征训练集中没有光照变化出现;环境不变特征描述算子训练公式如下:其中,Ln表示环境不变特征描述算子,n表示视频序列的帧数,fn表示针对环境不变训练集的控制系数, 则分别表示跟踪训练集、正样本训练集、负样本训练集特征的响应输出;

2.特征自适应融合

变化系数表示当前帧图片特征响应输出和前面n帧图片特征响应输出相比变化的大小;变化系数越大,则说明跟踪环境对于特征的影响越大,特征融合系数应该越小;变化系数根据两帧图片特征响应输出的欧氏距离计算得出,计算方式如下式:其中,ωi表示特征的变化系数,d表示计算变化系数时的帧数,fc、fk分别表示当前帧和前面第k帧的特征响应输出;由式(8)计算得到每帧的变化系数,用于表示当前帧特征响应输出的受影响大小;

在选择对应的特征描述算子时,利用当前帧变化系数ωi和历史平均变化系数 进行对比,选出适应当前跟踪环境的特征描述算子,具体选择方式如下面步骤(a)、(b)所示;其中历史平均变化系数 计算方式如式(9):(a)ωi大于

当当前帧的变化系数ωi,大于历史平均变化系数 时,则说明当前帧特征受到跟踪环境的影响大,响应输出置信度低,在这种情况下选用预先训练好的环境变化特征描述算子对变化系数进行约束,计算特征融合系数,以此提升特征抗干扰能力;

(b)ωi小于

在ωi小于 的情况下,说明外部影响因素对跟踪过程的影响小,特征响应输出很平稳,则采用预训练好的环境不变特征描述算子对变化系数进行约束,防止系数过大,发生模型的漂移;

计算得到每帧的变化系数,并累计计算得到历史平均变化系数,在此基础上判断跟踪环境对特征造成的影响,再结合正负特征描述算子,计算出特征融合的系数,减低跟踪环境的影响,提升整体性能;特征融合系数计算流程如下:其中,αhog、αcn分别表HOG特征和CN特征在特征描述算子控制下的特征融合系数;Lp、Ln分别表示两种特征各自的环境变化特征描述算子和环境不变特征描述算子;ωhog和ωcn则分别表示当前帧的变化系数;

对由式(10)、(11)计算得到的系数进行归一化处理,得到最终的特征融合系数;

在特征融合系数控制下特征自适应融合,进行最终的跟踪定位;

f(x)=Kcnfcn+Khogfhog     (14)

其中,f(x)表示最终响应输出,K、f分别表示特征的融合系数和特征响应输出;根据融合后的响应输出确定目标位置,定位跟踪。