欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2022113047138
申请人: 河南大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于Transformer和时空记忆的多目标跟踪方法,其特征在于,其步骤如下:步骤一:输入连续四帧图像,并对图像进行预处理;

步骤二:利用神经网络提取预处理后的图像的特征信息;

步骤三:利用时空强化模块融合四帧图像的特征信息,获取时空信息特征;

所述时空强化模块融合四帧图像的特征信息的方法为:首先将四张图片的特征信息F∈RNT*C*H*W变换为F1∈RN*C*T*H*W,多个通道进行平均得到F2∈RN*1*T*H*W后传入卷积核为3×3×3的3D卷积中得到F3;F3经过3D卷积操作后与F1进行矩阵相乘的结果再与F经过全局平均池化、全连接层后的结果进行卷积操作,得到时空信息特征F4;表达式为:其中,reshape(·)是尺寸变换操作,mean(·)是多通道的平均操作,f(·)是3D卷积操作,β(·)是批量归一化操作,是卷积操作,FC(·)是全连接层,AVG(·)是全局平均池化操作;

步骤四:获取目标的检测框,根据时空信息特征提取检测框位置信息和检测框内目标的行人特征;

步骤五:将某一时间窗口内所有行人特征和检测框位置信息存储的动态时空记忆模块中,并与当前视频图像内目标进行外观相似度和距离得分的计算;

步骤六:将外观相似度得分和距离得分融合得到最终得分,当最终得分大于阈值时,则判定为同一目标;若当前目标存储在动态时空记忆模块中,得到当前目标的轨迹后,更新存储的行人特征和检测框位置信息;若当前目标未存储在动态时空记忆模块中,则存储当前目标的行人特征和检测框位置信息。

2.根据权利要求1所述的基于Transformer和时空记忆的多目标跟踪方法,其特征在于,所述对图像进行预处理的方法为:将输入的原始图像的尺寸从1920×1080变为1280×1280。

3.根据权利要求2所述的基于Transformer和时空记忆的多目标跟踪方法,其特征在于,所述利用神经网络提取预处理后的图像的特征信息的方法为:将变换后的四帧图像同时输入到CenterNet主干网络中提取特征信息。

4.根据权利要求1所述的基于Transformer和时空记忆的多目标跟踪方法,其特征在于,所述动态时空记忆模块包括动态编码器和身份聚合模块;

所述身份聚合模块的操作为:

将行人特征F'通过全局平均池化操作、可变形卷积、ReLU和hard-sigmoid激活函数得到F1':

F1'=ε(σ(f'(AVG(F'))));

式中,f'(·)是可变形卷积,AVG(·)是全局平均池化操作,σ(·)是ReLU激活函数,ε(·)是hard-sigmoid激活函数;

再将行人特征F'与F1'相乘后依次通过一个全局平均池化、两个全连接层后得到目标特征F2':F2'=FC(FC(AVG(F1'*F')))。

5.根据权利要求4所述的基于Transformer和时空记忆的多目标跟踪方法,其特征在于,所述与当前视频图像内目标进行外观相似度和距离得分的计算方法为:在动态时空存储器中,前T帧内所有行人特征{F11,F21,F31,...,Fni}在动态编码器中进行交叉注意力操作得到关联矩阵E1,之后当前图像内所有目标{F1,F2,F3,...,Fn}与关联矩阵E1进行交叉注意力操作得到关联矩阵E2,最终将关联矩阵E1和E2相乘得到外观相似度得分;对于距离得分,使用当前图像内所有目标检测框{B1,B2,B3,...,Bn}与前T帧内所有目标检测框计算距离得分。

6.根据权利要求5所述的基于Transformer和时空记忆的多目标跟踪方法,其特征在于,所述将外观相似度得分和距离得分融合得到最终得分的方法为:Score=IoU_Score*ReID_Score+IoU_Score+ReID_Score;

其中,Score为最终得分,IoU_Score为距离得分,ReID_Score为外观相似度得分。