欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2022110706684
申请人: 河海大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种视频中的多车辆跟踪方法,其特征在于,包括如下步骤:对采集的图像进行图像随机变换,形成数据增强算法集合

采用随机抽样的方法将图像数据集等分为若干个实例集Zi,每个实例集都有对应的标签集Ei,i∈{1,2,…T},T为实例集个数;

从数据增强算法集合中随机选取一种算法对每个实例Zi,Ei进行变换,获得样本集合Z′i,E′i;

根据样本集合构建车辆检测与自监督视觉表征学习相融合的深度神经网络模型的主干网络模型,成对提取两个样本集合Zi和Z'i的特征矩阵,记为hi和h'i;

根据样本集合的特征矩阵构建具有相同结构的分支网络,分别对特征矩阵hi和hi′进行预测,得到热力图Fi和F'i,中心偏移Oi和O'i,目标大小Si和S'i;

根据相同结构的分支网络构建车辆检测与自监督视觉表征学习相融合的深度神经网络模型的目标特征表征网络模型和投影层网络模型,两个特征矩阵hi和h'i通过目标特征表征网络得到目标特征表征Hi和H'i,目标特征表征Hi和H'i经投影得到目标特征矩阵,记为Li和L'i;

将目标特征矩阵Li和L'i分别沿行列向量划分,得到实例特征和维度特征,构建正、负实例特征对和相关、无关维度特征对;

通过余弦距离度量函数计算实例特征对间的特征关系,通过相关系数度量函数计算维度特征对间的特征关系,构造实例特征和维度特征双重对比损失函数作为目标特征损失函数;

利用高斯模型将标签Ei,E'i中真实边界框信息映射为热力图并计算标签目标中心点偏移量和目标大小通过Focal Loss损失函数计算样本热力特征图Fi与F'i与之间的关系,通过损失函数计算样本中心点偏移量Oi与O'i与之间的关系和样本目标大小Si与S'i与之间的关系,根据计算的损失函数,构造目标检测损失函数,并与样本维度双重对比损失函数构成模型的目标检测与特征计算的总损失函数;

根据目标检测与特征计算的总损失函数对构建的车辆检测与自监督视觉表征学习相融合的深度神经网络模型进行训练;

视频数据集包含N帧图像,将第一帧图像I1送入经过训练的深度神经网络模型中,得到相应的中心点位置P1、边界框大小S1和目标的特征矩阵H1,初始化所有目标的身份信息和轨迹信息;

对连续两帧的图像的特征矩阵进行关联算法获得帧间目标的关联关系,对于同一目标进行轨迹更新,对新出现的目标为其初始化身份和轨迹;

深度神经网络模型遍历完所有帧图像后最终获得视频数据的跟踪结果

2.根据权利要求1所述的一种视频中的多车辆跟踪方法,其特征在于:车辆检测与自监督视觉表征学习相融合的深度神经网络模型的主干网络模型为编码器f(·);编码器f(·)为由多层卷积神经网络组成的网络模型,编码器f(·)用于提取样本集合的嵌入表示,计算公式如下:B是样本集合中的样本数量,D是嵌入向量的大小,表示实数集。

3.根据权利要求1所述的一种视频中的多车辆跟踪方法,其特征在于:具有相同结构的分支网络为预测头pj(·),j={1,2,3},分别用于预测热力图、中心偏移向量和目标大小;

每个预测头pj(·)对特征图进行卷积核大小为3×3的卷积计算,通过批次归一化层和非线性激活函数计算后,通过1×1的卷积计算得到样本集合的预测矩阵,用来对样本集合的嵌入表示进行预测,计算公式如下:I是样本热力特征图的大小;

J是样本目标中心点偏移向量预测的大小;

K是样本目标尺寸预测的大小。

4.根据权利要求1所述的一种视频中的多车辆跟踪方法,其特征在于:目标特征表征网络模型为目标特征表征器c(·),投影层网络模型为投影头g(·);

目标特征表征器c(·)包括卷积神经网络和特征通道集合网络,目标的特征表示为经卷积计算所得特征矩阵的目标中心点坐标处所有通道的集合,计算公式如下:N是样本目标中心点的数量,D是卷积计算所得特征矩阵的通道数;

投影头g(·)包含三层全连接网络,前两层之后连接批次归一化层和非线性激活函数,计算得到样本集合的特征矩阵,计算公式如下:M是样本输出目标特征矩阵的大小。

5.根据权利要求1所述的一种视频中的多车辆跟踪方法,其特征在于:将两个特征矩阵Li和L'i按行划分,得到实例表示集合t表示图像增强算法,其中1为不使用图像增强算法,i为实例索引,从集合S中构造实例对i=j为正对,i≠j为负对;将两个特征矩阵Li和L'i按列划分,得到特征维度集合p为维度索引,从集合D中构造维度对p=k为相关对,p≠k为无关对。

6.根据权利要求1所述的一种视频中的多车辆跟踪方法,其特征在于:通过余弦距离度量函数计算实例特征对间的相似度,余弦距离度量函数公式为:||·||表示求样本特征的模长;

通过相关系数度量函数计算维度特征对间的相关性,相关系数度量函数公式为:和是维度特征中所有元素的平均值;

实例特征对比损失函数为:

维度特征对比损失函数为:

τ1,τ2为损失函数的超参数,表示温度参数;

结合实例特征对比损失函数和维度特征对比损失函数得到目标特征损失函数如下:其中λ为控制损失平衡的参数。

7.根据权利要求1所述的一种视频中的多车辆跟踪方法,其特征在于:样本数据集中表示目标位置和大小的标签信息为(x1,y1,x2,y2),其中心点向下取整得利用高斯模型将标签中真实边界框信息映射为热力图其计算公式为:Yxy为热力图映射值,表示热力图上(x,y)坐标像素的值,是与边界框大小相关的方差,若两个中心点的高斯分布发生重叠,则取最大值;

计算标签目标中心点偏移量和目标大小公式如下:

pi,p'i分别为Zi,Z'i的目标中心点坐标值;

8.根据权利要求1所述的一种视频中的多车辆跟踪方法,其特征在于:通过Focal Loss损失函数计算样本热力特征图Fi与F'i与之间的关系,Focal Loss损失函数公式为:表示热力特征图Fi,F'i上(x,y)处坐标像素的估计值,c为待检测目标的类别数;α和β为超参数,用于均衡难易样本数量;Yxyc表示热力特征图上(x,y)处坐标像素的标签值;N是样本目标中心点的数量;

通过损失函数计算样本中心点偏移量Oi与O'i与之间的关系,其损失函数计算公式为:通过损失函数计算样本目标大小Si与S'i与之间的关系,其损失函数计算公式为:通过固定权重的方式将三个分支的损失函数相加,以得到检测目标的整体损失,其损失函数计算公式如下:λ1,λ2为固定权重;

将目标检测损失函数与目标特征损失函数结合,构造整体的损失函数,计算公式如下:其中w1,w2是平衡两个任务的可学习参数。

9.根据权利要求1所述的一种视频中的多车辆跟踪方法,其特征在于:将视频数据集中的第一张图像I1输入已经训练好的深度神经网络模型中获得初始化的身份信息和轨迹信息,其计算公式如下:H1=c(f(I1));

由热力图F1和中心点偏移量O1可以计算出目标中心点位置,计算公式如下:P1=q(F1,O1)。

10.根据权利要求1所述的一种视频中的多车辆跟踪方法,其特征在于:将视频数据集中的所有图像送入经过训练的深度神经网络模型中进行计算,记录跟踪目标的轨迹其中表示目标i在t帧的轨迹信息,为中心点坐标,为边界框大小,为目标的特征表示,IDi为目标的身份标识,li为存活时间参数;

通过基于特征表示相似性的数据关联算法AFRS获得连续两帧图像帧间目标的关联关系,计算公式为:相似度矩阵Nt-1,Nt为第t-1,t帧图像中的目标数量,若目标i和目标j具有相同身份,则Si,j>0,否则Si,j<0;

在相似度矩阵Si,j后面增加一列固定数值的列向量P作为占位符构成新矩阵P的数值为相似度矩阵Si,j中除对角线以外所有元素的平均值,占位符用于匹配消失的目标或新出现的目标;

将相似度矩阵S'i,j沿行向量进行带温度系数的Softmax函数计算,得到每行都包含了当前目标与两帧内所有目标的相似度结果的关联矩阵M:T为温度参数,

使用自适应温度调节T:

T=2log(Nt-1+Nt+1);

记录所有目标的检测结果其中Nt表示第t帧图像中的目标数量,对连续两帧图像的特征矩阵进行AFRS关联算法,若当前帧存在目标i,并与上一帧关联成功,则使用检测结果对目标轨迹进行更新,同时将中心点坐标边界框大小身份标识IDi以及当前帧数t保存到跟踪结果中;若关联失败,则保持上一帧的轨迹信息不变,并将存活时间li加1,若li>30,则认为该目标已经离开跟踪画面。