欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2018105102264
申请人: 杭州电子科技大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-01-05
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于分层特征表示的端到端目标跟踪方法,其特征在于包括如下步骤:步骤(1)、数据预处理,特征提取针对图像对(x',y′),先进行预处理,然后利用孪生网络的一个网络流来计算图像对(x',y′)中图像x'和y'的特征表示;其中,x'是模板图像帧,对模板图像帧x'进行预处理缩放到大小为127*127;y'是搜索图像帧,对搜索图像帧y'进行预处理缩放到大小为255*255;

步骤(2)、分层特征表示与图像对特征的互相关操作在孪生网络的基础上添加分层特征表示,构建分层孪生网络;

针对分层孪生网络的第四层、第五层的输出结果,将输出结果与x'、y'的输出特征通过互相关函数计算得到响应图;

步骤(3)、融合分层表示的结果

对第四层、第五层通过互相关函数计算得到响应图,通过加权平均的方式得到最终响应图,并根据最终响应图的最大响应区域,得到模板图像帧在该搜索图像帧中的位置的具体值hρ(x′ρ,y′ρ);

步骤(4)、模型训练

将步骤(3)产生的位置的具体值hρ(x′ρ,y′ρ)与模板图像帧真实位置的数值ci输入到定义的损失函数中,并利用反向传播算法对定义的分层孪生网络的模型参数进行训练,直至整个网络模型收敛;

步骤(2)所述的图像的分层特征表示与图像对特征的互相关操作,首先叙述原始的全卷积孪生网络提取图像特征的表示,以及基于全卷积孪生网络构建对图像的分层特征表示,具体过程如下:

2‑1.原始全卷积孪生网络提取的图像特征如下:hρ(x′,y′)=fρ(x′)*fρ(y′)  (公式1)其中,fρ(x′)和fρ(y′)分别表示是模板图像帧x'和搜索图像帧y'分别经过孪生网络的一个网络流得到的图像特征;*表示这图像对的特征表示做cross‑corelate,从而得到最后的响应图;响应图中响应最大的位置即为要跟踪目标所在的位置;

2‑2.针对图像对基于全卷积孪生网络的分层特征表示:基于全卷积孪生网络,分别在网络的第四层和第五层对这两层得到的特征图做cross‑corelate,从而得到第四层和第五层的响应图:其中,k=4或5,用于表示在网络第k层得到的结果,fρ(x′k)和fρ(y′k)分别表示是第k层的模板图像帧x′k和搜索图像帧y′k分别经过孪生网络的一个网络流得到的特征表示。

2.根据权利要求1所述的一种基于分层特征表示的端到端目标跟踪方法,其特征在于步骤(1)所述的数据预处理,特征提取:对模板图像帧x′和搜索图像帧y′进行特征提取,将图像对输入到预训练的深度神经网络得到图像特征fρ(x′)和fρ(y′)。

3.根据权利要求2所述的一种基于分层特征表示的端到端目标跟踪方法,其特征在于步骤(3)所述的融合分层表示的结果,具体如下:

3‑1.对于第四层和第五层得到的响应图,通过加权平均的方式得到最终响应图,单层响应图加权后的结果公式如下:

当j=1,k=4时,表示第四层的响应图加权后的结果;

当j=2,k=5时,表示第五层的响应图加权后的结果;

3‑2.将两个加权后的结果相加得到最终响应图,并根据最终响应图的最大响应区域,得到模板图像帧在该搜索图像帧中的位置的具体值hρ(x′ρ,y′ρ)。

4.根据权利要求3所述的一种基于分层特征表示的端到端目标跟踪方法,其特征在于步骤(4)训练模型,具体如下:

将步骤(3)产生的位置的具体值hρ(x′ρ,y′ρ)与模板图像帧真实位置的数值ci输入到定义的损失函数中,得到损失值loss,具体公式如下:其中,ci取值范围为{‑1,1},l(hρ(x′ρ,y′ρ),ci)为logistic loss,定义为:l(hρ(x′ρ,y′ρ),ci)=log(1+exp(‑hρ(x′ρ,y′ρ)ci))  (公式5)根据计算得到的损失值loss,利用反向传播算法调整网络模型中的参数。