欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2023111649791
申请人: 浙江工业大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于注意力机制的单阶段多目标跟踪方法,其特征在于,所述方法包括以下步骤:

(1)选择多目标跟踪数据集并进行图像的预处理;

(2)搭建网络模型,在骨干网络之后加入设计的辨别增强模块,在辨别增强模块之后加入检测分支的预测头和设计的身份保留模块,最后在身份保留模块之后加入re-ID分支的预测头;

(3)训练时随机选择数据集视频中某帧的图片作为输入,将数据集标注中每一个行人的坐标作为检测分支的样本,每一个行人的id标识作为身分特征训练的样本;

(4)测试时将视频的当前帧作为输入,经过特征提取之后首先通过辨别增强模块得到增强后的特征,再将增强后的特征分别输入金检测的预测头和身份保留模块,最后得到当前帧的检测结果和身份特征;

(5)匹配过程分三步,第一步,将当前帧和前一帧连接,对新检测目标进行外观和距离的匹配;第二步,再次将当前帧和前一帧连接,计算上一步没有匹配成功的IOU距离;第三步,更新状态,用于下一帧的匹配;

所述步骤(2)中,网络模型的框架可以看成有三部分组成,分别是特征提取骨干网络,用于提取当前帧图片的特征;辨别增强模块,用于对当前帧对象的辨别特征进行增强,它有一个空间注意增强和一个通道注意增强组成;身份保留模块,它由通道注意力组成,用于重新校准通道,以实现针对特定对象的信息,并保留身份特征的语义对齐;

采用ResNet-34作为骨干,将增强版的深层聚合DLA应用于主干,以融合多层特征,输入的图像大小表示为608×1088×3,提取到的特征大小152×272×3,首先将特征输入进辨别增强模块,该模块由一个空间注意增强和一个通道注意增强组成,通过自注意力机制实现空间注意增强,对具有局部特征的远程空间信息和背景信息进行编码,自注意机制过程由如下公式来展现:首先是空间注意增强,F∈RC×H×W表示骨干网络提取到的特征,F通过三个学习权重矩阵得到Q,K,V∈RC×H×W,再由计算得到空间注意力图其中N=H×W,它表示第i个位置对第j个位置的特征影响,这两个位置的相关性与的值呈正相关;然后的转置和F计算得到一个新的特征图,然后调整维度为RC×H×W,得到最终的输出FSA∈RN×N,它是由一个可学习的参数α乘以特征F运算得到:其中在FSA的每个位置,最终的特征是具有最初提取到的特征所有位置的加权和计算得到的;因此,增强后的特征可以自适应地从空间注意图中获得一个全局的上下文视图和聚合,从而提高了对象类内的一致性;

接下来经过通道注意增强部分,首先将主干网络提取到的特征F∈RC×H×W重塑为RC×N,其中为N=H×W,同样经过三个可学习的权重矩阵学习得到Q,K,V∈RC×H×W,然后K的转置和Q计算经过一个softmax层获得通道注意力图它表示第i个通道对第j个通道在特征上的影响;接下来,对的转置矩阵和F进行乘法运算,并将结果的维度调整为为RC×H×W;最后乘以一个可学习的参数β,并以元素级的方式与特征图F求和,得到最终的输出FCA∈RC×H×W:其中对于FCA的每个通道,它是所有通道上的特征和原始特征的加权和,可以提高远程上下文信息对特征的可辨别性;

最后,将两部分增强的特征进行融合,作为辨别增强模块的最终输出,用于预测检测结果,输入的特征又被送入身份保留模块;首先,将辨别特征模块输出的FDEM∈RC×H×W特征划分为每个通道上不同内核大小的多尺度特征;接下来,利用SEWeight模块进一步提取多个尺度的输入特征映射的通道注意,生成通道级注意权向量,表示为:其中Zi∈RC′×1×1是注意力权重,每个特征图具有不同尺度的特征图,具有共同通道维度C’=C/S,通过该操作,可以更加关注适合re-ID任务的浅层特性,通过将权重与相应尺度中的特征相乘,通过局部和全局通道之间更好的信息交互来获得增强的特征:最后,将它们融合起来,为预测身份特征生成细化的特征图:

FIPM=Cat([Y0,Y1,...,Y(S-1)])

该身份保留模块保留了身份特征的语义对齐,它是对辨别增强模块的补充,提高了关联过程中不同尺度对象的弹性,从而改善了具有不同尺度变化能力的对象匹配的自适应性。

2.如权利要求1所述的一种基于注意力机制的单阶段多目标跟踪方法,其特征在于,所述步骤(1)中,使用的多目标跟踪数据集为MOT17和MOT20,所述预处理包括HSV的增强、旋转、缩放、平移和剪切。

3.如权利要求1或2所述的一种基于注意力机制的单阶段多目标跟踪方法,其特征在于,所述步骤(3)中,训练时,检测分支由三部分组成:物体中心点的热力图、物体中心距离上下左右的距离和一个中心点的偏移量,匹配分支只有训练身份特征,两个分支同时进行训练。

4.如权利要求1或2所述的一种基于注意力机制的单阶段多目标跟踪方法,其特征在于,所述步骤(4)中,测试时,首先对当前图片经过骨干网络进行特征提取,然后通过辨别增强模块首先得到检测结果,再经由身份保留模块得到身份特征,用于区分不同目标,完成分类任务,最后通过后处理得到当前帧所有对象的坐标框和用于匹配的身份特征。

5.如权利要求1或2所述的一种基于注意力机制的单阶段多目标跟踪方法,其特征在于,所述步骤(5)中,首先用Kalman滤波和Re-ID特征获得初步结果,用匈牙利算法进行匹配;然后,对于无法匹配的轨迹和检测,通过设定IOU阈值进行第二次匹配;最后,将未匹配的检测初始化为新的轨迹,并将未匹配的轨迹保存30帧,以备将来再次出现。