欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2022111810276
申请人: 青岛理工大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种层级孪生网络的实时目标跟踪方法,其特征在于:包括以下步骤:

S1:将视频帧序列的模板图像和搜索图像利用孪生子网络进行特征提取;

在视频序列的初始帧中以目标物体为中心裁剪出模板帧图像z,并在当前帧中裁剪出搜索帧图像x,将模板帧图像和搜索帧图像分别送入到孪生子网络中的模板分支和搜索分支进行特征提取;

S2:构建融合多级层次特征的金字塔特征融合模块

利用步骤1中的孪生子网络,提取卷积三、四和五层的特征用于金字塔特征融合模块,从而构建了拥有不同层次信息的特征金字塔,三四五层卷积特征首先使用1×1的卷积操作降低通道数,得到处理后的特征φ3(x),φ4(x)和φ5(x)以及φ3(z),φ4(z)和φ5(z),然后将处理后的特征通过自顶向下的方式与相应的浅层特征进行逐元素相加,最后利用3×3的卷积操作平滑融合后的不同层特征并学习语义相关性,通过逐级融合多级层次特征的金字塔特征融合模块,可分别得到卷积三四五层的融合特征图,以构建更具有区分性的目标表示;

S3:构建层级位置感知预测模块

位置感知预测模块包括多个位置感知预测头,每个位置感知预测头包括两个子任务,一个是将目标从背景中分类出来的分类分支,另一个是提供目标框回归的回归分支;

对于单个位置感知预测头,将步骤S2中由金字塔特征融合模块获得的搜索图像x和模板图像z的三四五层融合特征Φs(x)和Φs(z),复制为[φs(x)]cls,[φs(z)]cls,以及[Φs(x)]reg,[Φs(z)]reg到分类分支和回归分支;然后计算分类特征图和回归特征图 其中★

代表互相关操作,[Φs(x)]cls、[Φs(z)]cls分别代表搜索帧图像x和模板帧图像z得到的融合特征复制后的,用于分类分支的特征图,[Φs(x)]reg,[Φs(z)]reg分别代表由金字塔特征融合模块获得的搜索帧图像x和模板帧图像z的三四五层融合特征Φs(x)和Φs(z),复制的,用于回归分支的特征图; 分别代表分类特征图和回归特征图;

由于单级预测头在面对相似干扰或者较大目标变化时可能导致跟踪性能退化,因此使用多级预测头构成位置感知预测模块以依次细化目标位置和变化,由此可得到位置感知预测模块的分类分支和回归分支的特征图, 和cls reg

其中w 和w 分别代表分类分支和回归分支中每个预测头的权重;

S4:模型训练与在线跟踪

在模型训练中,使用大型数据集进行端到端训练,集中裁剪模板图像和搜索图像训练对,以训练层级孪生网络,训练时采用随机梯度下降方法优化网络参数,并逐渐减少所提的层级孪生网络的整体损失,直到模型的性能不再提升;

在在线跟踪中,给定待跟踪的视频序列,按照步骤1的方式获取模板帧图像并通过孪生子网络提取模板特征,在随后的序列帧中,根据前一帧的跟踪结果提取搜索帧特征,获取到模板帧和搜索帧图像特征后送入到金字塔特征融合模块分别获得融合后的低层、中层和高层特征,将获取到的融合特征分别对应输入到层级位置感知预测模块的三个位置感知预测头中,得到三个分类特征图和三个回归特征图;将三个分类特征图和三个回归特征图分别进行加权融合,得到融合后的分类结果和回归结果,由此得到当前帧的目标结果。

2.根据权利要求1所述的一种层级孪生网络的实时目标跟踪方法,其特征在于:所述步骤S1中,模板帧图像z大小为127×127×3,搜索帧图像x大小为255×255×3。

3.根据权利要求1所述的一种层级孪生网络的实时目标跟踪方法,其特征在于:所述步骤S1中,孪生子网络以改进后的ResNet‑50作为骨干网络,ResNet‑50改进方式为:卷积四层和卷积五层的步长设置为1以增加特征图的空间大小并保留更多的细节信息,同时分别使用2和4的扩张率以增加感受野,由此基于孪生子网络分别得到模板帧和搜索帧的第i个卷积层特征 和

4.根据权利要求1所述的一种层级孪生网络的实时目标跟踪方法,其特征在于:所述步骤S2中,卷积四层其融合后的特征计算公式为: 以及其中Φ5(z)=φ5(z),代表卷积五层融合后的特征,

Φ4(z)代表模板帧图像卷积四层融合后的特征,Φ4(x)代表搜索帧图像卷积四层融合后的特征;卷积三层融合后的特征计算公式与卷积四层一致,第五层1×1的卷积之后直接输出。

5.根据权利要求1所述的一种层级孪生网络的实时目标跟踪方法,其特征在于:所述步骤S3中,在生成的分类特征图中,每个点代表正负样本的置信度;在生成的回归特征图中,每个点代表预测值与真实标注边界框的偏移值,根据偏移值计算预测值A和真实标注B的交并比(IoU),根据交并比则回归损失函数定义为 其中外围框C是包含A和B的最小的边界框,Lreg表示回归损失函数。

6.根据权利要求1所述的一种层级孪生网络的实时目标跟踪方法,其特征在于:所述步骤S3中,对于单个预测头,其损失函数表示为L=λ1Lcls+λ2Lreg,其中λ1和λ2是权衡参数且设置为1,层级孪生网络的整体损失函数为L=λ1∑sLcls+λ2∑sLreg,其中s代表级联的个数,且Lcls采用交叉熵损失进行分类。

7.根据权利要求1所述的一种层级孪生网络的实时目标跟踪方法,其特征在于:所述步骤S4中,大型数据集包括COCO、ImageNet DET和ImageNet VID。

8.根据权利要求1所述的一种层级孪生网络的实时目标跟踪方法,其特征在于:所述步骤S4中,采用随机梯度下降方法优化网络参数,并逐渐减少所提的层级孪生网络的整体损失的具体方式包括:训练时采用随机梯度下降方法优化网络参数并一共进行20次迭代,每次以批量28进行计算和估计,在前5次迭代中,使用的学习率从0.001增加到0.005;在后15次迭代中,学习率从0.005衰减到0.0005,这样逐渐减少所提的层级孪生网络的整体损失,直到模型的性能不再提升。

9.根据权利要求1所述的一种层级孪生网络的实时目标跟踪方法,其特征在于:所述步骤S4中,得到融合后的分类结果和回归结果,分类结果代表每一个位置上的分类得分,回归结果代表预测到的目标框描述,选择分类得分最大值对应的回归位置即为当前帧的目标预测框。