欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2021107957146
申请人: 南京邮电大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种多目标车辆跟踪方法,其特征在于,包括以下步骤:步骤S1、获取公路上的实拍车辆视频,对视频图像进行预处理,包括图像逐帧灰化和大小归一处理;

步骤S2、通过RFB‑Net检测器对输入视频帧进行目标车辆检测,获取当前帧目标的检测框位置以及各个检测框图像块的深度特征;过滤置信度小于预设阈值的目标检测框;

步骤S3、依据前一帧的目标检测框,使用卡尔曼滤波预测出当前帧的目标位置,得到预测跟踪框,每一帧的预测跟踪框组在一起构成了一组轨迹,保存在轨迹列表中;所述轨迹列表中的轨迹分为不确定态和确定态,轨迹初始化时都标记为不确定态,其中当前帧为第一帧时,预测跟踪框为空;

步骤S4、将当前帧的检测框与轨迹列表中的轨迹进行匹配,确定态轨迹与当前帧的检测框进行级联匹配,不确定态轨迹与尚未匹配的目标检测框进行IOU匹配;

步骤S5、当轨迹匹配成功的次数大于n_init时,轨迹更新为确定态,并用对应的检测框对轨迹列表中的预测跟踪框进行更新;当轨迹匹配成功的次数不大于n_init时,轨迹更新为删除态,并将其从轨迹列表中删除;当检测框未匹配成功时,初始化为新的轨迹;

步骤S6、重复步骤S2‑S5,对后续帧进行处理;

其中,

所述步骤S2中通过RFB‑Net检测器对输入视频帧进行目标车辆检测具体步骤如下:步骤S2.1、将帧图像输入到RFB‑Net网络中进行特征提取,通过卷积和池化生成6个特征图,对于不同尺度的特征图均使用n×n卷积进行框回归和分类,采用框回归对包含前景的框位置进行修正;采用softmax函数进行分类,依据VOC2007数据集设置分类类别,通过softmax函数给出每个类别对应的概率;

步骤S2.2、采用聚类算法选择合适比例的先验框如下:d(box,centroid)=1‑IoU(box,centroid)IoU=box∩centroid/box∩centroid其中centroid表示簇标注框的中心点,box表示聚类框的中心点;

步骤S2.3、计算框回归损失值如下:

gt

其中b和b 分别表示预测框与真实框的中心点,ρ表示欧式距离,c表示预测框真实框的最小外接矩形的对角线距离;

所述步骤S3中通过卡尔曼滤波预测出当前帧的目标位置得到预测跟踪框保存在轨迹列表的具体步骤如下:步骤S3.1、预测车辆目标的位置信息及所述位置信息的不确定度;t‑1时刻,车辆目标框的中心坐标(cx,cy),长宽比r,高h,速度变化值依次为 t时刻的均值向量如下:步骤S3.2、利用t‑1时刻的检测框来预测当前t时刻的跟踪框如下式所示:x′=Fx

其中状态转移矩阵F如下所示,其中dt是当前帧和前一帧之间的差:步骤S3.3、设定t‑1时刻的帧协方差为P,卡尔曼滤波器的噪声矩阵为Q,则t时刻的协方差矩阵如下:T

P′=FPF+Q;

所述步骤S4中将当前帧的检测框与轨迹列表中的轨迹进行匹配的具体步骤包括:步骤S4.1、针对确认态轨迹,将它们与当前的检测框进行级联匹配,并且使用匈牙利算法进行匹配指派在级联匹配中,分别进行运动相似度匹配和表观相似度匹配;

步骤S4.2、采用马氏距离表示检测框与确定态轨迹的运动匹配程度,具体如下:其中,dj表示第j个检测框的位置,yi表示第i个跟踪器对目标的预测位置,Si表示检测位置与平均跟踪位置之间的标准差;

定义门限函数判断检测框与确定态轨迹否匹配成功,如下所示:(1)

当马氏距离小于指定阈值t 时,表示匹配成功;

步骤S4.3、采用另一种关联方法,对每一个检测块di求一个特征向量rj,其中rj是通过CNN网络计算对应的128维特征向量,且‖rj‖=1;对每一个跟踪目标构建一个gallary,存储每一个跟踪目标成功关联的最近100帧的特征向量,即 计算第i个跟踪器的最近100个成功关联的特征集与当前帧第j个检测结果的特征向量间的最小余弦距离,表示检测框与确定态轨迹的表观匹配程度,具体如下:定义一个门限函数判断检测框与确定态轨迹是否匹配成功,如下所示:(2)

当计算出的最小余弦距离小于设定的阈值t 时,表示匹配成功;

步骤S4.4、将步骤S4.1‑S4.2所述两种关联方式的线性加权作为最终度量如下:(1) (2)

Ci,j=λd (i,j)+(1‑λ)d (i,j)其中λ为加权参数;当两个指标都满足各自的阈值条件时,检测框与确定态轨迹匹配成功;

步骤S4.5、针对不确定态轨迹,与尚未匹配成功的检测框进行IOU匹配,再次使用匈牙利算法进行匹配指派。

2.根据权利要求1所述的一种多目标车辆跟踪方法,其特征在于,所述步骤S2.1中卷积规格取3*3。

3.根据权利要求1所述的一种多目标车辆跟踪方法,其特征在于,所述步骤S4.2中指定(1) (2)阈值t 在四维测量空间中取值为9.4877,所述步骤S4.3中指定阈值t 在四维测量空间中取值为0.6。

4.根据权利要求1所述的一种多目标车辆跟踪方法,其特征在于,所述步骤S5将检测框对轨迹列表中的预测跟踪框进行更新的具体步骤包括:步骤S5.1、基于t时刻检测到的车辆检测框,校正关联的轨迹的状态;设定z为检测框的均值向量,不包含速度变化值,即z=[cx,cy,r,h],H为测量矩阵,将轨迹的均值向量x'映射到检测空间,检测框和预测轨迹的均值误差如下式所示:y=z‑Hx′

步骤S5.2、设定R为RFB‑Net检测器的噪声矩阵,为4*4的对角矩阵,对角线上的值依次为中心点的坐标以及宽和高的噪声;任意值初始化,宽高的噪声要大于中心点的噪声,将t时刻的协方差P’映射到检测空间,加上噪声矩阵R得到卡尔曼滤波预处理的数据S,如下所示:T

S=HP′H+R

步骤S5.3、计算卡尔曼增益K,估计误差的重要程度如下:T ‑1

K=P′HS

根据得到的K来更新轨迹的均值向量x和协方差矩阵P如下:x=x′+Ky

P=(I‑KH)P′。

5.根据权利要求1所述的一种多目标车辆跟踪方法,其特征在于,所述步骤S5中n_init取4。