欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2023108979669
申请人: 青岛理工大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种包含可视化度的多目标跟踪方法,其特征在于,在目标检测中,将可视度作为目标值进行学习,用来预测目标整体部分的可见程度,目标可视度程度和目标类别置信度联合,作为是否进行对该目标进行特征提取、并使用目标特征进行数据匹配的决策值,具体的算法流程如下:步骤一、获取视频流,按时间先后顺序读取图片;

步骤二、将读取的图片按时间顺序输入目标检测模型,然后得到模型的输出,其包含类别置信度、目标位置信息和可视度信息;

步骤三、如果是第一帧包含目标且存在目标的类别置信度是大于初始化新轨迹阈值Tnew的,则初始化新轨迹;如果同时该目标可视度大于可视度阈值Tv,则将目标裁剪出来输入到特征提取模型,进行特征提取,处理完当前图片的所有目标后,返回第一步,否则进入下一步;

步骤四、判断每一张图片中目标的类别置信度是否大于类别置信度高阈值Thigh;

步骤五、如果目标的类别置信度大于类别置信度高阈值Thigh,判断目标的可视度是否大于可视度阈值Tv;

步骤六、如果目标的类别置信度大于类别置信度高阈值Thigh,且目标的可视度大于可视度阈值Tv,则将目标裁剪出来输入到特征提取模型,进行特征提取,此时目标就包含位置信息、类别置信度信息、可视度信息以及特征信息;然后将提出后的目标信息放入第一轮匹配的集合Set1与轨迹进行特征信息匹配,匹配成功的轨迹更新轨迹状态与相关信息,匹配成功的目标加入对应轨迹,并从集合Set1中删除;未匹配成功目标与轨迹则等待第二轮匹配;

步骤七、如果目标的类别置信度大于类别置信度高阈值Thigh,但目标的可视度小于可视度阈值Tv,将其放入集合Set2,并将集合Set1中剩余的目标与集合Set2合并,进行第二轮匹配,此次匹配只利用位置信息进行匹配;匹配成功的轨迹更新轨迹状态与相关信息,未匹配成功的轨迹则等待第三轮匹配,并从set2中删除匹配成功的目标;

步骤八、如果目标的类别置信度小于高阈值Thigh,判断类别置信度是否大于类别置信度低阈值Tlow;

步骤九、如果目标的类别置信度小于高阈值Thigh,且类别置信度大于低阈值Tlow,则将其放入第三轮匹配的集合Set3进行位置信息匹配,匹配成功的轨迹更新轨迹状态与相关信息,匹配成功的目标加入对应轨迹,更新未匹配成功的轨迹状态,丢弃Set4中未匹配成功的目标;

步骤十、如果目标的类别置信度小于类别置信度低阈值Tlow,丢弃该目标信息,不进行处理;

步骤十一、上述三轮匹配完成后,删除Delete状态的轨迹;

步骤十二、初始化新轨迹,判断集合Set2中的目标类别置信度是否大于初始化新轨迹阈值Tnew,如果判断为是,则创建轨迹,否则丢弃;

步骤十三、进入下一张图片的处理,然后重复步骤2~12。

2.根据权利要求1所述的一种包含可视化度的多目标跟踪方法,其特征在于,所述步骤二中,目标检测模型通过目标检测算法YOLOX[4]进行信息的检测,在目标检测算法YOLOX[4]输出头的基础上并行增加可视度分支头,将增加可视度后的目标检测算法命名为YOLOX_v,该YOLOX_v分支输出值只有可视度值,可视度值最终输出为H*W*(C+6);

目标检测算法YOLOX[4]中包含可视度的分支头,可视度的分支头命名为YOLOX_v;该YOLOX_v分支输出值只有可视度值,可视度值最终输出为H*W*(C+6);

其中,H为特征图的高度,W为特征图的宽度,C与检测的目标种类数相等,是每个目标的类别置信度;6包含可视度1位,是否存在目标的置信度1位以及位置信息4位。

3.根据权利要求2所述的一种包含可视化度的多目标跟踪方法,其特征在于,所述YOLOX_v的训练方法为:步骤3.1、获取样本数据集;

步骤3.2、构建检测网络训练模型;

步骤3.3、通过训练模型进行目标的检测跟踪。

4.根据权利要求3所述的一种包含可视化度的多目标跟踪方法,其特征在于,所述样本数据集中采集目标的标签信息,标签信息包含类别信息、位置坐标信息和可视度信息,所述的样本数据集分为训练集和测试集。

5.根据权利要求3所述的一种包含可视化度的多目标跟踪方法,其特征在于,所述构建检测网络训练模型时的方法如下:步骤3.2.1、首先构建YOLOX_v网络模型;

步骤3.2.2、对YOLOX增加可视度分支后,对YOLOX网络的检测头进行修改,以用于在原来预测类别置信度、包含目标置信度和位置信息的基础上额外预测目标的可视度;

步骤3.2.3、针对增加的可视度分支添加对应的损失函数;

步骤3.2.4、训练修改后的模型;

步骤3.2.5、在改进的网络模型中使用验证集得到最优权重。

6.根据权利要求5所述的一种包含可视化度的多目标跟踪方法,其特征在于,进行目标的检测跟踪的方法如下:步骤3.3.1、利用最优权重对需要跟踪的视频进行逐帧检测;

步骤3.3.2、根据检测结果判断是否将目标传入特征提取网络模型进行特征提取;

步骤3.3.3、得到各目标的实时轨迹。

7.根据权利要求5所述的一种包含可视化度的多目标跟踪方法,其特征在于,所述损失函数为:公式(1)中:

Lcls代表类别损失,Lreg代表定位损失,Lobj代表是否包含目标损失,Lvis代表可视度损失,λ代表定位损失的平衡系数,ρ代表可视度损失的平衡系数,Npos代表被分为正样本的锚点数。

8.根据权利要求1所述的一种包含可视化度的多目标跟踪方法,其特征在于,所述多目标跟踪方法在实现状态变化时,使用轨迹状态变化方法完成在轨迹与目标匹配过程中轨迹状态的变化展示以及运行;其中,匹配过程中利用特征信息或者位置信息计算当前轮次的新目标集与当前轮次的原有轨迹集距离,此距离是用来判断目标与轨迹是否匹配的条件,并利用匈牙利匹配算法进行最优匹配,使轨迹找到最合适自己的目标;

匹配过程存在两种情况,一是新目标与原始轨迹满足匹配条件,二是存在没有原有轨迹相匹配的新目标,或者新目标相匹配的原有轨迹,需要对两种匹配状态下的新目标集与原有轨迹中的目标与轨迹状态进行处理。

9.根据权利要求8所述的一种包含可视化度的多目标跟踪方法,其特征在于,所述轨迹状态变化方法中,先确定了轨迹变化中存在的多种状态,多种状态包括New状态、Tracked状态、Lost_Tracked状态、Delete状态、Unformed状态与Lost_Unformed状态;

各状态的含义为:

New状态:新创建的轨迹状态,满足条件的视频第一帧以及未匹配上轨迹的目标;

Tracked状态:包含特征信息且前一帧匹配上新目标的轨迹;

Lost_Tracked状态:包含特征信息但是前p帧内一直未匹配上新目标的轨迹;

Delete状态:将被删除的轨迹的状态;

Unformed状态:不包含特征信息且前一帧匹配上新目标的轨迹;

Lost_Unformed状态:不包含特征信息但是前m帧内一直未匹配上新目标的轨迹;

根据上述状态,轨迹状态变化方法的具体实施内容如下:

步骤6.1、处理当前轮次的新目标集Dets,如果是视频第一帧,或者三轮匹配都未匹配上轨迹的目标,其类别置信度大于创建新轨迹阈值Tnew,则将状态设置为New,否则丢弃;

步骤6.2、如果连续n帧New状态的轨迹都匹配上目标,并且存在过类别置信度大于Thigh且可视度大于阈值Tv的目标,也就是已经提取过特征信息,则将状态设置为Tracked,此处n设置为3;

步骤6.3、如果连续n帧New状态的轨迹都匹配上目标,并且没有类别置信度大于Thigh且可视度大于阈值Tv的目标,也就是不存在特征信息,则将状态设置为Unformed;

步骤6.4、当Unformed状态的轨迹匹配上可视度大于Tv的目标时,将状态更新为Tracked;

步骤6.5、当Tracked状态的轨迹未匹配上目标时,将轨迹状态设置为Lost_Tracked;

步骤6.6、当Lost_Tracked状态的轨迹匹配上目标时,将轨迹状态设置为Tracked;

步骤6.7、当Unformed状态的轨迹未匹配上目标时,将轨迹状态设置为Lost_Unformed;

步骤6.8、当Lost_Unformed状态的轨迹匹配上目标时,如果该目标的可视度大于阈值Tv且类别置信度大于Thigh,则将轨迹状态设置为Tracked;

步骤6.9、当Lost_Unformed状态的轨迹匹配上目标时,如果该目标的可视度小于等于阈值Tv,则将轨迹状态设置为Unformed;

步骤6.10、当Lost_Unformed状态的轨迹连续丢失m帧时,设置状态为Delete;

步骤6.11、当Lost_Tracked状态的轨迹连续丢失p帧时,设置状态为Delete;

步骤6.12、当New状态的轨迹丢失一帧时,设置状态为Delete。