欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2020112472935
申请人: 武汉工程大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-12-31
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于孪生网络的针对低分辨率目标的跟踪方法,其特征在于,该方法包括以下步骤:

步骤1:建立网络结构,先将低分辨率视频的当前帧、当前帧的前两帧以及当前帧的后两帧,共五帧作为系统的输入量,表示为XT,索引T∈{t‑2,t‑1,t,t+1,t+2},其中的t表示当前时刻,并用Yt表示重建的当前视频帧;然后将输入量XT通过特征提取及通道融合法获取到融合输出量,记为H1,然后将H1通过特征映射法获取到映射后的输出量,记为H2,再将H2通过反卷积重建法得到网络结构中重建的当前视频帧Yt;

(k) (k) (k)

步骤2:训练网络结构,将训练集记为{Xt ,Zt },其中Xt 表示t时刻第k个视频样本(k)

的低分辨率视频帧训练子图像,Zt 表示t时刻第k个视频样本的原始全分辨视频帧训练子(k) (k) (k)图像,N表示训练样本个数,Xt ,Zt 的缩放比例因子s=2,3,4;用Yt 表示重建得到的高(k) (k)分辨率视频帧子图像,采用均方差作为目标函数,最小化Yt 与Zt 之间的误差,并估计各网络结构中各层的网络参数θ,用随机梯度下降法对网络参数θ进行更新;为了快速得到不同缩放因子s下的重建模型,先从零开始训练s=3的模型A,再相应地微调网络末端的反卷积层的参数,而保持所有卷积层参数不变,分别得到s=2和s=4的模型B和模型C;

步骤3:利用训练得到的模型A、模型B以及模型C对相应缩放因子s下的低分辨率视频帧XT进行超分辨率重建,最终得到对应缩放因子s下的重建的当前视频帧Yt;

步骤4:通过多个视频帧序列构建训练样本,通过人工标记法对序列中的图像帧标记目标矩形框;

步骤5:训练样本中每幅图像根据目标区域的图像尺寸进行截取得到目标区域样本,训练样本中每幅图像根据搜索区域的图像尺寸进行截取得到搜索区域样本,将搜索区域样本中每幅图像的像素点标记出是否为目标位置;

所述步骤5中的具体方法为:

目标区域的图像尺寸为图像的长、宽,且均为p1;

根据目标区域的图像尺寸进行截取的方法为:以训练样本中每幅图像的目标矩形框为中心,截取长、宽均为p1的图像作为目标区域样本的图像;

截取长、宽均为p1的图像的方法为:训练样本中每幅图像即第i个图像序列中第j幅图像,截取出来的图像矩形框的中心坐标为:(xi,j+wi,j/2,yi,j+hi,j/2),左上角坐标位置为:(xi,j+(wi,j‑p1)/2,yi,j+(hi,j‑p1)/2),图像矩形框的长、宽均为p1;

目标区域样本的获取方法为:M个图像序列,每个图像序列有N幅长、宽均为p1的图像;所述目标区域样本定义为 所述目标区域样本中第i个序列中第j幅图像为搜索区域的图像尺寸为图像的长、宽,且均为p2,p2>p1;

根据搜索区域的图像尺寸进行截取的方法为:以训练样本中每幅图像的目标矩形框为中心,截取长、宽均为p2的图像作为搜索区域样本的图像;所述截取长、宽均为p2的图像的具体方法为:训练样本中每幅图像即第i个图像序列中第j幅图像,截取出来的图像矩形框的中心坐标为:(xi,j+wi,j/2,yi,j+hi,j/2),左上角坐标位置为:(xi,j+(wi,j‑p2)/2,yi,j+(hi,j‑p2)/2),右下角坐标为:(xi,j+(wi,j+p2)/2,yi,j+(hi,j+p2)/2),图像矩形框的长、宽均为p2;若有以下情况之一:(xi,j+(wi,j‑p2)/2<0,yi,j+(hi,j‑p2)/2<0,xi,j+(wi,j+p2)/2>=wi,j,yi,j+(hi,j+p2)/2>=hi,j;则图像矩形框超出训练样本中图像的边界,超出部分用图像均值像素;

搜索区域样本的方法为:M个图像序列,每个图像序列有N幅长、宽均为p2的图像;所述目标区域样本定义为 所述目标区域样本中第i个序列中第j幅图像为 对于搜索区域2

样本中每幅图像均有p2个像素点,将每个像素点标记出是否为目标位置,其计算公式为:其中c表示搜索区域图像中目标的中心点,u表示每个要标记的位置;R表示以c为圆心画圆的半径;u与c的距离超过R,则标记为‑1,u表示负样本,不是目标位置,否则标记为+1,u表示正样本,是目标位置;

步骤6:通过目标区域分支以及搜索区域分支构建孪生网络,根据相似度分数矩阵构建孪生网络的损失函数,通过目标区域样本以及搜索区域样本进行训练得到训练后孪生网络;

步骤7:将待跟踪图像序列通过训练后的重建超分精简卷积神经网络以及训练后跟踪孪生网络进行图像跟踪,得到待跟踪图像序列的目标坐标位置。

2.根据权利要求1所述的基于孪生网络的针对低分辨率目标的跟踪方法,其特征在于,所述步骤1中,特征提取及通道融合法的具体步骤为:

(1):首先采用滤波器对输入量XT进行卷积提取特征,表示成高维向量,记为H1T,H1T=W1T*XT+b1T,并采用参数线性纠正单元函数对H1T进行非线性操作:H1T=max(H1T,0)+a1T min(0,H1T),其中*表示卷积操作,W1T表示对应索引T的大小为f1T*f1T*c1T*n1T的滤波器,f1T表示滤波器尺寸,c1T表示输入XT的通道数,n1T表示滤波器个数,b1T表示对应索引T的1*n1T的偏置项,a1T表示H1T的负数部分的系数,该层操作记为Conv(f1T*f1T*c1T*n1T)+PReLU,其中PReLU表示参数线性纠正单元函数;

(2):然后采用通道融合层对上述各个索引的H1T进行融合,融合后的输出记为H1,表示为:H1=[H1t‑2,H1t‑1,H1t,H1t+1,Ht+2],其中[]表示将H1t在通道维度上进行连接,即经过第一部分特征提取及通道融合层后得到的H1包含了所有输入的n1T维特征。

3.根据权利要求2所述的基于孪生网络的针对低分辨率目标的跟踪方法,其特征在于,所述步骤1中,特征映射法的具体步骤为:

(1):首先利用通道收缩模块对融合后的输出量H1进行降维,降维后的输出记为H2s,H2s=max(W2S*H1+b2s,0)+a2Smin(0,W2S*H1+b2s),其中,W2S表示大小为f2SX f2S X c2SX n2S的滤波器,b2s表示1Xn2S的偏置项,a2S表示W2S*H1+b2s的负数部分的系数,该层操作记为Conv(f2SX f2S X c2SX n2S)+PReLU,其中PReLU表示参数线性纠正单元函数;

(2):然后采用m个大小为f2MX f2MX c2MX n2M的滤波器W2M和1Xn2M的偏置项b2M对H2S进行多级映射,并通过PReLU函数进行非线性变换得到特征向量,得到的特征向量记为H2M,该层操作记为m*[Conv(f2MX f2MX c2MX n2M)+PReLU];

(3):接着采用通道扩展模块对H2M进行升维,升维后的输出记为H2,H2=max(W2E*H2M+b2E,

0)+a2Emin(0,W2E*H2M+b2E),其中,W2E表示大小为f2EX f2E X c2EX n2E的滤波器,b2E表示1Xn2E的偏置项,a2E表示W2E*H2M+b2E的负数部分的系数,该层操作记为Conv(f2E*f2E*c2E*n2E)+PReLU,其中PReLU表示参数线性纠正单元函数。

4.根据权利要求3所述的基于孪生网络的针对低分辨率目标的跟踪方法,其特征在于,所述步骤1中,反卷积重建法的具体方法为:

对升维后的输出H2反卷积得到网络结构中重建的当前视频帧Yt, 其中,表示反卷积操作,视为卷积操作的逆运算,WD3和bD3分别表示大小为fD3*fD3*cD3*nD3的反卷积滤波器和1XnD3维向量的偏置项,该层操作记为:Deconv(fD3*fD3*cD3*nD3)。

5.根据权利要求1所述的基于孪生网络的针对低分辨率目标的跟踪方法,其特征在于,所述步骤4中的具体方法为:

图像序列的数量为M,每个序列皆包含N幅图像,所以训练样本中图像帧的数量为:M*N幅;对第i个视频帧序列中第j幅图像人工标记其目标矩形框为:(xi,j,yi,j,wi,j,hi,j),其中(xi,j,yi,j)表示第i个视频帧序列中第j幅图像的目标矩形框左上角的坐标,(wi,j,hi,j)表示第i个图像序列中第j幅图像的目标矩形框的尺寸,(xi,j+wi,j/2,yi,j+hi,j/2)表示第i个图像序列中第j幅图像的目标矩形框的中心坐标。

6.根据权利要求1所述的基于孪生网络的针对低分辨率目标的跟踪方法,其特征在于,所述步骤6中的具体方法为:

所述目标区域分支由卷积层、最大池化层组成,所述目标区域分支的输出为目标区域图像的特征向量:所述搜索区域分支由卷积层、最大池化层组成,所述搜索区域分支的输出为搜索区域图像的特征向量;

搜索区域分支在网络结构上完全复制目标区域分支网络结构;在训练过程中,搜索区域分支网络每一层的weight值保持和目标区域分支网络相同层的weight值一样;

所述目标区域样本中第i图像序列为:

所述搜索区域样本中第i图像序列为: ;

训练第i图像序列时,依次将 作为目标区域分支的

输入;把 作为目标区域分支的输入,得到尺寸为s2,通道数为c1的卷积核;再依次将作为搜索区域分支的输入进行训练,每个样本经过搜索

区域分支后,得到尺寸为s2,通道数也为c1的卷积核;将两个卷积核进行互相关操作,得到尺寸为L1的相似度分数矩阵;即将每个 作为一个输入对,其中0

更换目标区域分支输入时,重复上一步骤操作:即对于每个图像序列,得到N个相似度分数2

矩阵,孪生网络用M个图像序列进行训练,得到M*N个相似度分数矩阵;进一步通过相似度矩阵得到目标在原图像的坐标:若有一个相似度分数矩阵Matrix1,找到矩阵中值最大的点,将Matrix1经过插值操作扩展到尺寸为L2的矩阵Matrix2,这个点在Matrix2中对应的坐标即为目标的位置;训练过程中,损失函数使用log损失;

相似度分数矩阵上每个点单独的损失函数为:

l(v1,v2)=log(1+exp(‑v1·v2))

其中,v2是Matrixi,x,y单个点的得分,如果计算出的这个点的v2越大,则说明这个点越可能是目标,而v1是该点位置对应的标签,且v1∈{+1,‑1},如果是正样本,v1=+1,否则v1=‑1;一个点如果标记为v1=+1,则这个点为目标,若该点训练时的得分v2比较大,损失函数的值l(v1,v2)也会变大,从而反向传播调整网络的weight值;求出矩阵单个点的损失函数后,则相似度分数矩阵Matrix1的整体损失函数用全部点损失的均值表示:其中,D表示整个矩阵,u表示矩阵上的每个点;

2 2

由于公式会生成M*N个相似度分数矩阵Matrix1,则会得到M*N个L(y,v),经加和后,得到最终的损失函数Lall,通过梯度下降法最小化损失函数Lall来进行训练,最终得到跟踪孪生网络的weight。

7.根据权利要求1所述的基于孪生网络的针对低分辨率目标的跟踪方法,其特征在于,所述的步骤7中将待跟踪图像序列通过训练后的重建超分精简卷积神经网络以及训练后跟踪孪生网络进行图像跟踪的方法为:所述待跟踪图像序列为: 待跟踪图像序列中第1帧图像为 经过训练后重建超分精简卷积神经网络处理后,输入至训练后孪生网络中目标区域分支的输入图像;待跟踪图像序列中剩余图像用 表示,其中i'∈[2,p];

经过重建超分精简卷积神经网络处理后,进一步输入至训练后孪生网络中搜索区域分支的输入图像, 通过训练后孪生网络得到 的相似度分数矩阵,并搜索出 的相似度分数矩阵中最大值,通过步骤6中的插值操作,得到待跟踪图像序列中目标坐标位置。