欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2021107132834
申请人: 重庆邮电大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-02-26
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种联合多目标跟踪和行人角度识别的分类方法,其特征在于,该方法包括:将待检测的图像进行增强处理;将增强后的图像输入到训练好的分类模型中进行行人跟踪和角度的识别分类,根据分类结果对待检测图像进行标记;分类模型为改进的JDE多目标跟踪模型和行人角度识别模型;

对分类模型进行训练的过程包括:

S1:获取原始数据集,根据原始数据集制作包含脸部角度信息与身体角度信息的多标签多分类数据集;

S2:对多标签多分类数据集中的数据进行增强处理,得到用于行人角度识别的训练数据集和测试数据集;

S3:根据用于行人角度识别的训练数据集获取跟踪数据集,得到用于多目标跟踪的训练数据集和测试数据集;

S4:将用于多目标跟踪的训练数据集输入到主干网络和跟踪分支中,得到行人的跟踪结果;

S5:根据跟踪结果计算与用于多目标跟踪的训练数据集中的真实标签之间的损失值,当损失值最小时,得到训练好的主干网络和跟踪分支;

S6:固定模型的主干网络和跟踪网络的参数;将多标签多分类训练数据集输入到分类分支中,得到分类结果,分类结果包括脸部角度、身体角度;

S7:根据分类结果计算与多标签多分类训练数据集中的真实标签之间的损失值,当损失值最小时,得到训练好的分类分支;

S8:将用于多目标跟踪的测试数据集中的数据输入到训练好的主干网络和跟踪分支中,得到跟踪功能的测试结果;

S9:将用于行人角度识别的测试数据集中的数据输入到训练好的分类分支中,得到分类功能的测试结果。

2.根据权利要求1所述的一种联合多目标跟踪和行人角度识别的分类方法,其特征在于,多标签多分类数据集包括采用DukeMTMC制作成含有975张图片的DukeFace数据集、采用数据集使用了Market‑1501制作成含有5918张图片的FaceData1数据集、采用了Market‑

1501制作成含有3925张图片的FaceData2数据集、采用Mars制作成含有4439张图片的MarsFace数据集、采用MSMT17制作成含有5217张图片的Msmt17Face数据集以及PA‑100K制作成含有3063张图片的Pa100kFace数据集。

3.根据权利要求1所述的一种联合多目标跟踪和行人角度识别的分类方法,其特征在于,改进的JDE多目标跟踪模型结构为将原始的JDE多目标跟踪模型的跟踪小目标分支结构删除,并增加两个预测大目标和中等目标行人角度识别信息分支;增加的预测大目标和中等目标行人角度识别信息分支分别采用了八个卷积层。

4.根据权利要求1所述的一种联合多目标跟踪和行人角度识别的分类方法,其特征在于,对模型的分类分支进行训练的过程包括:固定主干网络和两个跟踪分支的参数;将用于多目标跟踪的训练数据集输入到主干网络与跟踪分支中,经过卷积层运算,得到跟踪分支预测结果;从跟踪分支产生的预测结果中选取出置信度最大的位置;通过置信度最大的位置找到分类分支中对应的脸部角度与身体角度的预测结果;通过BCEWithLogitsLoss损失函数计算脸部角度与身体角度的真实标签与找到的模型对于脸部角度与身体角度的预测结果之间的损失值。

5.根据权利要求4所述的一种联合多目标跟踪和行人角度识别的分类方法,其特征在于,对模型的跟踪分支进行训练过程中所采用的损失函数包括Cross Entropy Loss损失函数、Smooth‑L1 Loss损失函数以及Cross Entropy Loss损失函数;采用Cross Entropy Loss损失函数计算目标类别的损失,目标类别包括行人与非行人;使用Smooth‑L1 Loss损失函数计算边界框位置的回归损失;使用Cross Entropy Loss损失函数计算提取到的嵌入特征的损失,对所有的损失求和,得到跟踪分支损失函数。

6.根据权利要求1所述的一种联合多目标跟踪和行人角度识别的分类方法,其特征在于,对行人的跟踪和角度的识别分类的过程包括:步骤1:将每帧图像输入到分类模型中,经过1/8、1/16和1/32的上采样后得到三张不同尺寸大小的特征图;

步骤2:将最小尺寸的特征图分别输入到预测大目标的分类分支和检测/嵌入特征提取分支中,得到大目标的预测信息;

步骤3:将最小尺寸大小的特征图与中等尺寸大小的特征图进行融合,并将融合后的特征图分别输入预测中等目标的分类分支与检测/嵌入特征提取分支,得到中等目标的预测信息;

步骤4:将得到的大目标的预测信息和中等目标的预测信息组合在一起,得到模型对当前帧图片的所有目标的最终预测信息;

步骤5:采用卡尔曼滤波对上一帧中的目标在当前帧中的最佳位置进行预测,得到上一帧中的目标在当前帧中的最佳位置;

步骤6:从模型的最终预测信息中提取出模型预测结果的当前帧中所有目标的嵌入特征,使用余弦距离计算轨迹的嵌入特征与所有目标的嵌入特征之间的嵌入特征相似度,并使用Jonker‑Volgenant算法对嵌入特征相似度进行第一次匹配,得到部分已经匹配的目标和轨迹、未匹配的目标、未匹配的轨迹;

步骤7:从模型的最终预测信息中提取出模型预测的当前帧中所有目标的边界框位置,使用IOU距离计算轨迹在当前帧中的最佳位置与当前帧中所有目标的边界框位置之间的运动信息相似度,并使用Jonker‑Volgenant算法对运动信息相似度进行第二次匹配,得到部分匹配的目标和轨迹、未匹配的目标、未匹配的轨迹;

步骤8:更新轨迹,并根据匹配到的目标和轨迹对当前帧中所有目标的跟踪ID、检测位置、脸部角度和身体角度进行标记。

7.根据权利要求6所述的一种联合多目标跟踪和行人角度识别的分类方法,其特征在于,每个网络分支得到的预测信息包含四个部分;四个部分包括分类信息、回归信息、特征嵌入信息以及分类结果;所述分类信息包括目标信息和非目标信息,即2A*W*H;所述回归信息为边界框位置,即4A*W*H;所述特征嵌入信息为重识别,即512*W*H;所述分类结果为行人属性识别,即6*W*H;其中,A为属性的数量,W、H分别为预测信息的宽度和高度。

8.根据权利要求6所述的一种联合多目标跟踪和行人角度识别的分类方法,其特征在于,采用卡尔曼滤波对上一帧中的目标在当前帧中的最佳位置进行预测的过程包括:首先根据轨迹的位置与速度得到轨迹在当前帧中的预测位置,然后从模型的预测信息中得到模型对当前帧中目标的观测位置,然后将从卡尔曼滤波得到的预测位置与从模型得到的观测位置进行加权平均,进而得到上一帧中的目标在当前帧中的最佳位置,其中所使用的权值为观测位置与最佳位置的均方误差。

9.根据权利要求6所述的一种联合多目标跟踪和行人角度识别的分类方法,其特征在于,计算嵌入特征相似度公式为:

其中u为所有轨迹的嵌入特征所组成的向量,v为所有目标的嵌入特征所组成的特征向量,||||2为其参数的2范数;

运动信息相似度公式为:

SA=(min{xa2,xb2}‑max{xa1,xb1})×(min{ya2,yb2}‑max{ya1,yb1})SB=(xa2‑xa1)(ya2‑ya1)+(xb2‑xb1)(yb2‑yb1)‑SB;

其中,xa1、ya1分别为轨迹的左上顶点的横坐标、纵坐标,xa2、ya2分别为轨迹右下顶点的横坐标、纵坐标,xb1、yb1分别为模型预测的目标位置的左上顶点的横坐标、纵坐标,xb2、yb2分别为模型预测的目标位置的左上顶点的横坐标、纵坐标;min{}表示取其两个参数中较小的参数,max{}表示取其两个参数中较大的参数。

10.根据权利要求6所述的一种联合多目标跟踪和行人角度识别的分类方法,其特征在于,采用Jonker‑Volgenant算法进行匹配的过程包括:在第一次匹配中,使用嵌入特征相似度组成的损失矩阵作为参数,输入到python中lap库的lapjv函数,得到匹配的轨迹与目标、未匹配的轨迹、未匹配的目标;第二次匹配中,使用运动信息相似度组成的损失矩阵作为参数,输入到python中lap库的lapjv函数,得到匹配的轨迹与目标、未匹配的轨迹、未匹配的目标。