欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 202310173228X
申请人: 南京邮电大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.基于transformer的特征关联多目标追踪方法,其特征是,包括如下步骤:获取待追踪视频的视频帧;

将所述视频帧输入至预设的特征提取网络,得到视频帧的语义特征;

根据所述视频帧的语义特征,对视频帧进行目标检测,得到多个检测框及其对应的追踪目标;

针对每个追踪目标分配一个目标追踪器,所述目标追踪器根据所述检测框,得到追踪目标在下一视频帧的追踪框;

其中,响应于多个追踪目标在当前视频帧的追踪框存在重叠情况时,基于卷积神经网络和transformer网络的特征编码,以及互注意力机制的特征解码,进行特征增强与抑制,得到多个重叠的追踪目标分别对应的更新后的在当前视频帧的追踪框;

其中,响应于多个追踪目标在当前视频帧的追踪框存在重叠情况时,取多个重叠的追踪目标的目标追踪器中的任一目标追踪器为遮蔽目标追踪器,计算与所述遮蔽目标追踪器的追踪框的iou值最大的目标追踪器为干扰目标追踪器;

提取所述遮蔽目标追踪器和干扰目标追踪器的目标追踪器身份特征,基于卷积神经网络和transformer网络的特征编码,以及互注意力机制的特征解码,进行特征增强与抑制,得到增强与抑制后的特征;

根据所述增强与抑制后的特征,以及遮蔽目标追踪器的目标追踪器身份特征,得到遮蔽目标追踪器更新后的目标追踪器身份特征;

根据所述遮蔽目标追踪器更新后的目标追踪器身份特征,得到遮蔽目标追踪器更新后的在当前视频帧的追踪框;

所述特征编码包括如下步骤:

将所述遮蔽目标追踪器和干扰目标追踪器的目标追踪器身份特征,分别通过深度可分离卷积神经网络以提取局部特征,且分别通过自注意力机制的transformer网络提取到全局特征;

根据所述局部特征和全局特征,基于归一化拼接和全连接层,以得到遮蔽目标追踪器的融合特征和干扰目标追踪器的融合特征;

所述特征解码包括如下步骤:

根据所述遮蔽目标追踪器的融合特征和干扰目标追踪器的融合特征,基于互注意力机制,得到遮蔽目标追踪器的被遮蔽特征和未被遮蔽特征;

计算所述遮蔽目标追踪器的跟踪框和干扰目标追踪器的跟踪框的iou值;根据所述iou值,得到权重值;

根据所述权重值、遮蔽目标追踪器的目标追踪器身份特征与未被遮蔽特征,得到增强后的特征;

根据所述权重值、遮蔽目标追踪器的目标追踪器身份特征与被遮蔽特征,得到抑制后的特征。

2.根据权利要求1所述的基于transformer的特征关联多目标追踪方法,其特征是,将所述视频帧输入至预设的特征提取网络,得到语义特征,包括如下步骤:基于卷积核和最大池化层,对所述视频帧进行下采样,得到下采样特征;

基于深度可分离卷积核和分组全连接层,对所述下采样特征进行多次迭代特征提取,得到多组提取特征;

基于区域候选网络对所述多组提取特征进行融合,得到视频帧的语义特征。

3.根据权利要求1所述的基于transformer的特征关联多目标追踪方法,其特征是,所述目标检测包括如下步骤:根据所述视频帧的语义特征生成锚框,将锚框内的特征分别输入分类卷积神经网络和回归卷积神经网络;其中,所述分类卷积神经网络用于计算锚框的分类得分,所述回归卷积神经网络用于计算每个锚框的中心点和宽高;

根据所述锚框的分类得分和锚框的中心点和宽高,基于极大值抑制网络,得到多个候选框;

根据所述多个候选框,基于softmax函数的目标分类网络,得到多个检测框及其对应的追踪目标。

4.根据权利要求1所述的基于transformer的特征关联多目标追踪方法,其特征是,所述目标追踪器内设有目标特征检测模块和卡尔曼滤波器;所述目标追踪器的追踪方法如下:通过目标特征检测模块,提取当前帧的检测框的目标语义特征;

根据所述当前帧的检测框的目标语义特征,通过卡尔曼滤波器,得到追踪目标对应的下一帧的预测框;

计算下一帧的检测框和预测框的iou值,将iou值大于预设的第一阈值的检测框作为候选跟踪框,以得到一个或多个候选跟踪框;

根据所述候选跟踪框,得到下一视频帧的追踪框;其中,响应于存在多个候选跟踪框时,通过计算候选跟踪框提取的身份特征与预测框提取的身份特征之间的余弦相似度,将余弦相似度最大的候选跟踪框作为追踪目标下一视频帧的追踪框。

5.根据权利要求4所述的基于transformer的特征关联多目标追踪方法,其特征是,所述卡尔曼滤波器包括身份特征提取模块和身份特征记忆模块;

所述身份特征提取模块,对所述检测框的目标语义特征进行池化固定操作,得到池化后的目标语义特征;根据所述池化后的目标语义特征,基于卷积神经网络提取得到跟踪目标的身份特征;

所述身份特征记忆模块,基于卷积神经网络计算得到更新权重与重置权重;根据所述跟踪目标的身份特征、更新权重与重置权重,得到当前帧的目标追踪器身份特征;根据所述当前帧的目标追踪器身份特征,得到下一帧的预测框;

其中,所述当前帧的目标追踪器身份特征表示为第一特征与更新权重的乘积加上第二特征与重置权重的乘积;所述第一特征为跟踪目标的身份特征与身份重置特征经过卷积神经网络拼接而得;所述身份重置特征表示为第二特征与重置权重的乘积;所述第二特征为上一帧的目标追踪器身份特征或设定的初始帧的目标追踪器身份特征。

6.根据权利要求4所述的基于transformer的特征关联多目标追踪方法,其特征是,所述检测框和预测框的iou值的计算公式如下:;

其中,iou是检测框与预测框的交集的面积和并集的面积的商;A表示检测框;B表示预测框。

7.根据权利要求1所述的基于transformer的特征关联多目标追踪方法,其特征是,所述权重值的表达式如下:;

其中,weights表示权重值;为第t帧上追踪目标ta的跟踪框,其中t表示第t帧,ta表示追踪目标;为第t帧上干扰目标di的跟踪框,其中t表示第t帧,di表示干扰目标;为设置的最小遮蔽阈值;max表示最大值函数;sin表示正弦函数。