欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2018102507856
申请人: 西南交通大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-01-05
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于迁移学习回归网络的目标跟踪方法,该方法包括利用VGG-19网络,其特征在于:(1)目标选取

从初始图像中选择并确定要跟踪的目标对象,目标选取过程通过运动目标检测方法自动提取,或者通过人机交互方法人工指定;

(2)基于分块预测的目标位置回归网络构建

基于分块预测的目标位置回归网络由图像输入层、一个用于特征表达的迁移网络、一个包含4096×1个节点的网络层和一个包含8×8×8个节点的位置输出层四个部分构成;在整个网络中,输入图像经过224×224像素大小的尺度归一化后作为VGG-19网络的输入数据,该VGG-19网络的第23层与4096×1个节点的网络层进行全连接,即采用VGG-19的第23层对输入图像进行特征表达,而4096×1个节点的网络层再与8×8×8个节点的位置输出层进行全连接;

将224×224大小的输入图像划分为8×8=64个图像块,每个图像块大小为28×28像素,每个图像块的位置与位置输出层的前两维的节点位置相对应,位置输出层的第三维的8个节点则表示与之对应的图像块所预测的目标的相对位置,由此每张输入图像通过回归网络后将得到8×8×8个相对位置值;

(3)面向跟踪的训练数据集生成

为了能够对位置回归网络进行训练,这里通过两个方面来获取训练数据:一方面对于第一帧输入图像,根据所要跟踪的目标,将其所对应的图像块提取出来,然后通过人工合成的方式,将目标图像块放置于第一帧图像的任意位置并生成新的图像,原目标图像块所在的区域则用目标图像块的均值来填补,同时记录目标图像块放置的位置以及计算由整幅图像划分出的8×8个图像块与目标之间的8×8×8个相对位置,这些位置坐标数据作为网络的期望输出,它们与图像共同构成一组训练数据;另一方面,则是先将提取出的目标图像块进行变换,包括平移、旋转、扭曲和遮挡等操作,然后再按照前面相同的方法放置于图像中并合成训练图像;所有这些训练数据则构成训练数据集,之后用于网络训练;

(4)网络训练

网络训练过程中,用于训练的图像采用逐个输入的方式进行,VGG-19网络部分的参数保持不变,VGG-19网络的第23层、包含8×8×8个节点的位置输出层,与包含4096×1个节点的网络层之间的连接参数,采用经典的随机梯度下降法(SGD)进行训练;

(5)图像输入

在实时处理情况下,提取通过摄像头采集并保存在存储区的视频图像,作为要进行跟踪的输入图像;在离线处理情况下,将已采集的视频文件分解为多个帧组成的图像序列,按照时间顺序,逐个提取帧图像作为输入图像;如果输入图像为空,则整个流程中止;

(6)目标定位

将(5)获得图像输入到位置回归网络中,经网络正向处理后,网络输出层将得到8×8×

8个相对位置数据,通过对输出层的这些8×8×8个节点数据的计算处理来对目标进行定位;设Ai,j表示当前输入图像的第(i,j)个图像块, 表示图像块Ai,j中心点的横坐标,表示图像块Ai,j中心点的纵坐标,图像块Ai,j对应的回归网络输出层中的8个节点值分别为它们分别为目标框的左上角横坐标与图像块中心点横坐标的差值,目标框的左上角纵坐标与图像块中心点纵坐标的差值,目标框的右上角横坐标与图像块中心点横坐标的差值,目标框的右上角纵坐标与图像块中心点纵坐标的差值,目标框的左下角横坐标与图像块中心点横坐标的差值,目标框的左下角纵坐标与图像块中心点纵坐标的差值,目标框的右下角横坐标与图像块中心点横坐标的差值,目标框的右下角纵坐标与图像块中心点纵坐标的差值;

设目标位置表示为 其中

分别表示目标框左上角的横坐标和纵坐标,右上角的横坐标和纵坐标,

左下角的横坐标和纵坐标,右下角的横坐标和纵坐标;则图像块Ai,j预测的目标位置为即对于Ai,j有对于每一个图像块都有一个各自预

测的目标位置,并且所预测的目标框四个角的坐标通常不同,因此需要对每个图像块预测的目标框四个角坐标进行统计分析,这里采用坐标累积方法来确定目标框每个角的最终坐标,进而定位整个目标;具体方法为,设分别表示目标框的左上角、右上角、左下角、右下角的坐标累计矩阵,其中分别为其对应矩阵在(a,b)处的值,且0≤a,b≤224,初始时这些矩阵的每个元素值均为0;对于图像块Ai ,j有由此对于每个图像块,对这四个矩阵进行累加操作。

最后,将矩阵中具有最大值的元素所在的坐标分别对应作为目标框四个角的坐标,即其中

分别表示目标框的左上角、右上角、左下角、右下角的坐标累计矩阵中具有最大值的元素对应的横纵坐标值,目标定位完成;

(7)网络更新

根据(6)得到的目标位置,计算由整幅图像划分出的8×8个图像块与目标之间的8×8×8个相对位置,并连同当前输入图像构成一组训练数据,进行一次网络训练,实现对网络的微调更新,然后跳转到(5)。

2.根据权利要求1所述的一种基于迁移学习回归网络的目标跟踪方法,其特征在于:所述相对位置值包括目标框的左上角横坐标与图像块中心点横坐标的差值,目标框的左上角纵坐标与图像块中心点纵坐标的差值,目标框的右上角横坐标与图像块中心点横坐标的差值,目标框的右上角纵坐标与图像块中心点纵坐标的差值,目标框的左下角横坐标与图像块中心点横坐标的差值,目标框的左下角纵坐标与图像块中心点纵坐标的差值,目标框的右下角横坐标与图像块中心点横坐标的差值,目标框的右下角纵坐标与图像块中心点纵坐标的差值。