欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2025100282379
申请人: 浙江工业大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于特征解耦和特征增强学习的多目标跟踪方法,其特征在于,所述方法包括以下步骤:步骤一、获取图像特征并进行特征解耦和增强,过程如下:

S11、输入行人多目标跟踪序列,序列中每帧都包含多个行人跟踪目标;

S12、将行人图像数据输入到骨干网络中,并获取到4层特征图,然后根据四层特征图进行特征解耦分化,再引入修改后的注意力机制对解耦分化后的图像特征进行任务导向性增强;

S13、经过特征解耦和特征增强后的两部分图像特征;

步骤二、目标跟踪,过程如下:

S21、将S13输出的两部分图像特征作为输入;

S22、输入特征经过特定分类头后获得box_size,center_off,heatmap和reid数据,依照这些数据基于联合检测和跟踪的范式完成目标关联;

S23、目标关联:多目标跟踪模型根据S22输出数据,并保留每个跟踪目标特定帧序列内的坐标位置,同时考虑每个目标的重识别特征进行目标关联与重寻回;

S24、综合损失:多目标跟踪模型会综合考虑目标检测损失和目标关联损失,以优化整体性能,用于平衡模型内部任务的竞争;

S25、经过平衡损失计算后的多目标跟踪模型,已经具有良好的鲁棒性且其轻量体型能够保持跟踪的实时要求;

所述S12中,引入注意力机制用于特征增强,提出空间特征增强模块SFEM,SFEM是深度为两层的递归的空间注意力机制的叠加,考虑到构建的自顶向下的检测部分的特征融合策略,将backbone取得的最高层特征图传入SFEM模块,每一层融合公式为:,

其中是输入特征经由三个可学习权重向量得到的矩阵,表示Q矩阵中的任意单元特征向量,,分别表示K和V矩阵中所有和u在同一行或同一列的特征向量集合中第i个值,用于改变特征的通道数;

提出一种适应于像素级细粒度任务的身份识别特征增强模块IEM,IEM在一个方向上完全折叠特征,同时保持其正交方向上特征的高分辨率,然后在通过瓶颈向量的Softmax()和Sigmoid()操作来增加注意力的动态变化范围,从而增强特征向量,IEM的通道注意公式为:其中,分别是大小为1X1的卷积层,是两个向量重置因子,是SoftMax算子,内部通道数为C/2,,输出;

IEM的空间注意公式为:

其中,分别是大小为1X1的卷积层,是三个向量重置因子,是SoftMax算子,输出;

以上两个分支并行相加得到最终的结果:

。

2.如权利要求1所述的基于特征解耦和特征增强学习的多目标跟踪方法,其特征在于,所述S12中,特征解耦的过程为:首先采用DLA-34作为主干网络,考虑到检测和重新识别任务所需特征的不同语义层次,提出了一种双分支特征融合网络,该网络使用两种不同的特征聚合方法来获取检测和重新识别所需的特征表示;

对于检测部分,使用重建的IDA-UP结构,该结构基于对上采样的三层深层特征图进行操作,并将它们与浅层特征图进行融合,并称之为自顶向下的特征融合策略;

对于重新识别部分,提出了一种自底向上的特征聚合策略,令表示输入到网络中的特征图,其中N表示由主干网络提取的具有不同分辨率特征图的层数,表示第i层特征图,然后,自底向上的特征融合策略表示为:其中, 表示最终获得的融合后的每一层特征,表示前一层融合后得到的特征,表示由可变形卷积和反卷积组成的上采样操作,表示一个大小为1*1的卷积层,用来改变特征的通道数,表示Sigmoid激活层。

3.如权利要求1或2所述的基于特征解耦和特征增强学习的多目标跟踪方法,其特征在于,所述S23中,多目标跟踪模型采用基于IOU与外观嵌入距离的跟踪策略,首先使用外观嵌入信息来弥补卡尔曼滤波器的漂移,得到最终预测的目标中心位置,同时计算目标中心在保留时间内中的平均运动速度,考虑到跟踪平均每秒处理的帧数t和目标已丢失帧数k,利用卡尔曼滤波器来选择在预测中心附近的范围内的外观嵌入向量并计算它们与丢失目标的外观嵌入向量之间的距离,并根据公式来判断它们是否同属于一个轨迹:其中表示在预测中心附近的NN范围内的外观嵌入向量与之间的余弦距离,表示轨迹恢复的匹配阈值,如果用来表示像素(i,j)上的外观嵌入向量,那么的计算公式如下:其中表示计算两个向量之间的余弦距离,如果最终判断寻找到了丢失轨迹的目标对象,那么将寻找到的中心点设置为轨迹当前帧的中心点,使其大小与前一帧的跟踪目标大小一致。