欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2024100464461
申请人: 重庆邮电大学
专利类型:发明专利
专利状态:授权未缴费
专利领域: 计算;推算;计数
更新日期:2025-05-09
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种层次特征融合的抗背景干扰孪生网络单目标跟踪方法,其特征在于,包括以下步骤:步骤1、生成训练数据:对多个数据集进行放缩处理,获得像素为127×127的模板图像和像素为255×255的搜索图像;

步骤2、生成图像特征:生成的模板图像和搜索图像经过特征提取网络AlexNet,将网络输出的第二层低级特征和最后一层高级特征通过双特征融合模块进行融合,得到多尺度特征,并通过注意力焦点模块模块消除不同层特征融合引入的噪声;

步骤3、生成训练标签:将搜索特征与模板特征经过互相关运算后得到17*17的特征响应图,分类分支根据IOU阈值确定标签值,回归分支根据锚框坐标偏移量生成标签值,通过生成的标签模型学习目标的位置、尺度和类别信息,并根据这些信息进行预测和推理;

步骤4、损失函数优化:将预处理好的模板特征与搜索特征输入到回归分支和搜索分支中;以模板特征为卷积核,在搜索区域上做互相关操作得到各自的特征图,分类分支相似度图上的前景背景得分与目标的分类标签采用二值交叉熵函数计算损失,回归分支利用回归偏移量与目标的回归标签通过新的SIOU函数计算损失;最后,通过随机梯度下降算法最小化损失从而实现模型优化,若干轮迭代之后,从中选取最好的跟踪模型;

所述步骤3中生成训练标签,具体步骤如下:

D1、将步骤C2得到的特征维度分别输入到分类头和回归头中,经过一个卷积分别得到4*4*256和20*20*256,这个操作将模板特征转化为适合于分类器的低维表示;

D2、输入分类分支和回归分支的模板图像通过一个卷积核进行升维,由4*4*256到4*4*(2k*256)和4*4*(4k*256),这种升维操作用于区分不同目标的特征模式;搜索特征不进行升维;

D3、将模板图像特征作为卷积核与搜索图像特征进行互相关操作,分类分支得到的相似度图为17*17*2k,回归分支得到的相似度图为17*17*4k,k指锚框个数;

D4、对17*17的特征图的每一个像素点生成五个长宽比不同的anchor,尺度分配为{3,2,1,0.5,0.33},总共17*17*5个anchor,并将anchor与ground true box之间的IOU进行计算,产生正样本和负样本,生成分类标签,判断规则如下:其中yi表示第i个样本的标签值,当值为1时为正样本,值为0时为负样本,值为-1时忽略此锚框;

D5、对正样本生成回归标签,用于预测目标的边界框位置,其标签计算方式如下所示:其中δ[i]表示基于锚框四个方向的坐标偏移量,Tx,Ty表示目标矩形框中心点坐标,Tw,Th表示目标矩形框宽高,Ax,Ay表示预定义锚框的中心点坐标,Aw,Ah表示预定义锚框的宽高;

所述步骤4中损失函数优化具体包括如下步骤:

E1、在分类头中,得到的2k维分数图与分类标签通过二值交叉熵损失函数计算损失,公式如下:Lcls(pi,yi)=-yilogpi-(1-yi)log(1-pi)#(10)yi表示第i个样本的标签值,pi表示网络预测的第i个样本属于目标还是背景的分类概率值;

E2、在回归头中,得到的4k维坐标偏移量与回归标签通过SIOU损失函数计算损失,公式如下:其中△表示预测框与真实框之间的距离成本,Ω表示预测框与真实框之间的形状成本,两者的具体表达式如下:E3、通过步骤E1和E2得到分类损失和回归损失后,模型总损失如下公式所示:L=WboxLbox+WclsLcls#(14)

最后通过随机梯度下降优化算法不断对模型进行优化,在经过50轮迭代训练后便得到最终的跟踪模型。

2.根据权利要求1所述的一种层次特征融合的抗背景干扰孪生网络单目标跟踪方法,其特征在于,所述步骤1生成训练数据具体包括以下步骤:A1、从训练数据集中获取到包含物体标注信息的图像对,从一个序列中获取的图像对为正样本对,用于帮助模型学习目标的外观表示和位置变化;从不同序列中获取的图像对为负样本对,用于模型学习如何区分目标和背景或其他物体;

A2、对图像进行中心放缩或填充操作,其公式如下所示:

s(w+2p)×s(h+2p)=A#(1)

其中的A代表缩放后的图像尺寸,生成模板图像时为127,生成搜索模板图像时为255,w表示图像宽度,h表示图像高度,s表示缩放系数,p表示填充区域。

3.根据权利要求1所述的一种层次特征融合的抗背景干扰孪生网络单目标跟踪方法,其特征在于,所述步骤2生成图像特征,具体流程如下:B1、将预处理后的模板图像和搜索图像输入特征提取网络AlexNet,经过五层卷积后,模板特征图大小和搜索特征图大小分别为6*6*256、22*22*256,其中6和22代表特征图大小,256代表通道数;

B2、为了使特征提取网络的最后一层输出与第二层输出尺寸相同,对最后一层特征图采用反卷积操作,特征网络网络输出的最后一层特征F5将经过反卷积层,反卷积层的计算公式如下所示:F′5=s(F5-1)+2p-k+2#(5)

s=1代表步长,p=3代表填充边距,k=1代表卷积核大小,F′5代表经过卷积层的输出特征图尺寸,F5代表输入卷积层的特征图尺寸,由此6*6*256的特征图变成12*12*256大小;

B3、再将步骤C2得到的F′5特征图与骨干网络第二层输出的特征图F2逐像素相加得到Fd,具体操作如下所示:低层特征提供了丰富的细节信息和背景区分能力,而高层特征提供了目标的语义信息和形状变化特征。

4.根据权利要求3所述的一种层次特征融合的抗背景干扰孪生网络单目标跟踪方法,其特征在于,所述步骤2中注意力焦点模块包含步骤如下:C1、上下文注意力被用来计算特征之间的相似性,并生成权重来调整特征的重要性;将步骤B3得到的特征Fd输入到注意力焦点模块中得到Fd′特征,具体公式如下所示:其中代表逐像素相乘操作,σ代表sigmoid函数,FRCCA()代表循环注意力操作,通过此注意力焦点模块使每个像素更好地表示目标信息,使跟踪器更加专注于目标的显著特征;

C2、将步骤C1得到特征后,经过一个卷积层,将输入数据的维度降低,卷积运算公式如下所示:其中dw、dh表示输入数据矩阵的宽高,kw、kh表示卷积核的宽高,s表示移动步幅,p表示输入数据填充值;卷积操作通过卷积核的滑动窗口方式,能够建模图像中的空间关系;用于模型捕捉目标周围区域的上下文信息,从而区分目标和背景。

5.一种电子设备,其特征在于,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述程序时实现如权利要求1至4任一项所述层次特征融合的抗背景干扰孪生网络单目标跟踪方法。

6.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至4任一项所述层次特征融合的抗背景干扰孪生网络单目标跟踪方法。

7.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至4任一项所述层次特征融合的抗背景干扰孪生网络单目标跟踪方法。