1.一种基于孪生循环神经网络的目标跟踪方法,其特征在于,所述方法包括如下步骤:获取待跟踪目标视频;
将获取的待跟踪目标视频输入预先训练好的目标跟踪模型,目标跟踪模型输出准确的目标跟踪位置;
所述目标跟踪模型包括孪生网络模块和循环神经网络模块,孪生网络模块包括上支路、下支路,下支路与循环神经网络模块连接,上支路和下支路均包括卷积神经网络;
其中,对待跟踪目标视频中第一帧图像构建目标区域,作为孪生网络模块上支路的输入,待跟踪目标视频中的后续帧图像作为孪生网络模块下支路的输入;
所述目标跟踪模型的构建方法,包括:
上支路使用卷积神经网络提取目标区域图像的特征,获得目标区域特征图;
下支路使用卷积神经网络提取搜索区域图像的特征,获得搜索区域特征图;
下支路提取的特征经全连接层送入循环神经网络模块;
循环神经网络模块输出预测的跟踪目标位置及尺度,从而得到目标包围框;
将目标包围框映射到下支路获取的搜索区域特征图上,得到感兴趣目标区域;
将上支路获取的目标区域特征图作为卷积核,对映射有目标包围框的搜索区域特征图进行卷积操作,得到相关性响应特征图,相关性响应特征图中响应值最大的位置为目标跟踪位置。
2.根据权利要求1所述的方法,其特征在于,所述上支路、下支路的卷积神经网络均包含4个卷积层和4个最大池化层,4个卷积层卷积核的大小依次为7×7、5×5、3×3和3×3,卷积操作的步长设置为2;所述全连接层连接在4个卷积层和4个最大池化层之后,全连接层后面连接RELU层和BN层,全连接层的输出维度为512维。
3.根据权利要求1所述的方法,其特征在于,所述目标跟踪模型的训练方法,包括:获取目标视频帧序列数据集;
根据目标位置和尺寸,对数据集中的每一段目标视频帧序列中的每一帧图像进行裁剪,获得所有帧图像的目标区域图像和搜索区域图像,将其作为训练集;
基于获取的训练集,训练孪生网络模块,使跟踪目标在对应的相关性响应特征图上的位置获得响应最大值,获得响应最大值时的孪生网络模块参数;
固定所述孪生网络模块参数,单独训练循环神经网络模块,使其具备预测跟踪目标下一帧位置及尺度的能力;
解除对孪生网络模块参数的固定,联合训练孪生网络模块和循环神经网络模块,得到端到端的网络模型。
4.根据权利要求3所述的方法,其特征在于,所述基于获取的训练集,训练孪生网络模块,包括:从训练集中随机抽取属于同一段目标视频帧序列中的一张目标区域图像和一张搜索区域图像,分别作为孪生网络模块上支路和下支路的输入。
5.根据权利要求3所述的方法,其特征在于,所述固定所述孪生网络模块参数,单独训练循环神经网络模块,包括:对训练集中每一段目标视频帧序列,将其中单张目标区域图像作为孪生网络模块上支路的输入,其中多张连续的搜索区域图像以视频流的形式,从短视频依次增加至长视频,输入孪生网络模块的下支路。
6.根据权利要求3所述的方法,其特征在于,所述解除对孪生网络模块参数的固定,联合训练孪生网络模块和循环神经网络模块,包括:对训练集中的每一段目标视频帧序列,输入其中单张目标区域图像到孪生网络模块的上支路,随机输入其中多张连续的搜索区域图像到孪生网络模块的下支路。
7.根据权利要求1所述的方法,其特征在于,所述目标跟踪模型的构建方法,还包括:在目标跟踪模型中加入判别模块,所述判别模块对得到的相关性响应特征图进行得分评价,判别目标跟踪是否成功。
8.根据权利要求7所述的方法,其特征在于,所述判别模块对得到的相关性响应特征图进行得分评价,判别目标跟踪是否成功,包括:所述判别模块,基于相关性响应特征图的得分进行3D建模,如果建模显示相关性响应特征图得分异常,则判别跟踪失败;启动重新探测,在上一帧图像目标位置附近随机选取与目标区域重叠面积大于70%的多个目标包围框,依次将多个目标包围框对应的特征图与给定的目标区域特征图送入孪生网络模块进行相关卷积操作得到置信度,并进行排列,选择置信度最高的目标包围框作为跟踪目标位置的输出;否则,判别跟踪成功,直接输出目标跟踪位置。
9.一种基于孪生循环神经网络的目标跟踪系统,其特征在于,包括:视频获取模块,用于获取待跟踪目标视频;
目标跟踪模块,用于将获取的待跟踪目标视频输入预先训练好的目标跟踪模型,目标跟踪模型输出准确的目标跟踪位置;
所述目标跟踪模型包括孪生网络模块和循环神经网络模块,孪生网络模块包括上支路、下支路,下支路与循环神经网络模块连接;
其中,对待跟踪目标视频中第一帧图像构建目标区域,作为孪生网络模块上支路的输入,待跟踪目标视频中的后续帧图像作为孪生网络模块下支路的输入;
所述目标跟踪模型的构建方法,包括:
上支路使用卷积神经网络提取目标区域图像的特征,获得目标区域特征图;
下支路使用卷积神经网络提取搜索区域图像的特征,获得搜索区域特征图;
下支路提取的特征经全连接层送入循环神经网络模块;
循环神经网络模块输出预测的跟踪目标位置及尺度,从而得到目标包围框;
将目标包围框映射到下支路获取的搜索区域特征图上,得到感兴趣目标区域;
将上支路获取的目标区域特征图作为卷积核,对映射有目标包围框的搜索区域特征图进行卷积操作,得到相关性响应特征图,相关性响应特征图中响应值最大的位置为目标跟踪位置。