1.一种融合视觉光流特征点追踪与运动趋势估计的多目标实时跟踪方法,其特征在于,包括:
步骤10:通过图像采集设备实时获取当前第i帧的图像Mi,使用YOLO目标检测算法检测Mi中的目标,得到目标的矩形框位置,将第i帧每个目标加入第i帧的目标检测结果列表Objectsi;
步骤20:如果第i帧为第一帧,对Objectsi中每个目标,配置新的ID,将目标第一参数tracked_frames设置为1,将目标第二参数patched_frames设置为0,将Objectsi赋值给当前第i帧的目标跟踪结果列表跳转至步骤70;如果第i帧不是第一帧,则继续执行步骤30;
步骤30:对第i-1帧的目标跟踪结果列表的每个目标,使用矩形框运动趋势估计算法处理,得到目标在当前帧的运动状态预测位置列表使用矩形框区域图像光流特征点追踪算法处理,得到当前帧的目标光流预测位置列表步骤40:对比和中ID相同目标j的矩形框位置,计算第一矩形框重叠度IoU1,根据第一重叠度预设阈值判断,如果目标跟踪成功,将该目标加入第i-1帧的目标在第i帧的位置跟踪预测结果列表并将该目标的patched_frames加1;如果目标跟踪失败,将该目标的tracked_frames设置为0;
步骤50:对Objectsi中的每个目标分别与中的每个目标计算匹配度,包括,第二重叠度匹配度IoU2,归一化中心点距离Dist,差异度Diff,所在图像区域相似度SimM,如果匹配度满足超参数阈值,则将IoU2作为这两个目标匹配度的权重,如果匹配度不满足超参数阈值,则将这两个目标匹配度对应的权重设置为0,基于此权重构建匹配度权重矩阵;
步骤60:根据匹配度权重矩阵,使用KM最优匹配算法获得第i-1帧和第i帧各个目标之间的匹配关系,对于匹配成功的目标,将第i-1帧中目标的ID赋值给第i帧的匹配目标,tracked_frames加1,patched_frames设置为0;对于第i帧中未匹配的目标,分配新的ID,tracked_frames设置为1,patched_frames设置为0;对于第i-1帧中未匹配的目标,ID不变,patched_frames加1;各目标均加入列表;
步骤70:对中的目标进行分析判断,如果patched_frames大于最大目标预测帧数Pn,则将该目标从中移除,回收其ID;如果patched_frames小于最大目标预测帧数Pn,且tracked_frames大于最小目标跟踪帧数Tn,则将该目标从中移除并加入列表;
步骤80:对的每个目标,使用矩形框平滑滤波算法进行滤波,输出滤波后的结果,当前第i帧目标跟踪完成;并将中的目标加入缓存列表,用于下一帧跟踪;返回步骤10处理下一帧图像。
2.根据权利要求1所述的融合视觉光流特征点追踪与运动趋势估计的多目标实时跟踪方法,其特征在于,所述目标的矩形框包括物体在图像中的矩形框区域左上角坐标(x,y)以及宽度w和高度h。
3.根据权利要求2所述的融合视觉光流特征点追踪与运动趋势估计的多目标实时跟踪方法,其特征在于,矩形框运动趋势估计算法包括:对中目标j的矩形框位置使用卡尔曼滤波器进行跟踪预测,根据目标历史矩形框位置,预测当前帧目标的矩形框位置,计算得到目标j的运动状态预测位置并加入列表矩形框区域图像光流特征点追踪算法包括:分别对Mi和Mi-1构建灰度图像金字塔,在中目标j的矩形框位置内均匀选取Mi-1中K个坐标点,使用基于灰度图像金字塔的LK光流点匹配算法计算该K个点在Mi中的位置,统计所有对应点在Mi和Mi-1之间的位置偏移量,取平均值作为目标j的光流追踪偏移量计算目标j的光流跟踪结果为并加入列表
4.根据权利要求3所述的融合视觉光流特征点追踪与运动趋势估计的多目标实时跟踪方法,其特征在于,对于矩形框Ra(xa,ya,wa,ha)和矩形框Rb(xb,yb,wb,hb),矩形框重叠度为:IoU=两个矩形框的交集面积/两个矩形框的并集面积;
归一化中心点距离为:其中:分别为矩形框Ra和Rb的中心点坐标;Wm表示图像宽度,Hm表示图像高度;
差异度为:Diff=abs(log(wa/wb))+abs(log(ha/hb)),wa,ha,wb,hb分别为矩形框Ra和Rb的宽度和高度;
所在图像区域相似度SimM的计算包括:
对两个矩形框区域图像Ma和Mb的RGB通道进行分离,统计颜色直方图,并进行归一化处理得到其中,S{a,b}表示矩形框区域图像Ma或Mb的像素面积,表示图像Ma或Mb在(i,j)位置上的像素值;
对于颜色直方图向量Va:和Vb:采用余弦相似性公式计算两个矩形框的所在图像区域相似度SimM=Va·Vb/(||Va||×||Vb||),其中Va·Vb表示两个向量点乘,||Va||和||Vb||分别表示两个向量的模。
5.根据权利要求4所述的融合视觉光流特征点追踪与运动趋势估计的多目标实时跟踪方法,其特征在于,匹配度满足超参数阈值包括:Dist
6.根据权利要求5所述的融合视觉光流特征点追踪与运动趋势估计的多目标实时跟踪方法,其特征在于,矩形框平滑滤波算法为:将目标j从第i-2帧到第i帧矩形框位置分别记为Ri-2,j(xi-2,j,yi-2,j,wi-2,j,hi-2,j)、Ri-1,j(xi-1,j,yi-1,j,wi-1,j,hi-1,j)、Ri,j(xi,j,yi,j,wi,j,hi,j);从第i-3帧到第i-1帧滤波后的矩形框位置分别记为R’i-3,j(x’i-3,j,y’i-3,j,w’i-3,j,h’i-3,j)、R’i-2,j(x’i-2,j,y’i-2,j,w’i-2,j,h’i-2,j)、R’i-1,j(x’i-1,j,y’i-1,j,w’i-1,j,h’i-1,j);
对矩形框的四个参数分别用2阶巴特沃兹低通滤波器进行滤波为:
其中,(a1,a2,a3)和(b1,b2,b3)为巴特沃兹低通滤波器参数,通过设置采样频率和截止频率计算得到;
获得目标矩形框滤波结果:R’i,j(x’i,j,y’i,j,w’i,j,w’i,j)。
7.根据权利要求1-6任一项所述的融合视觉光流特征点追踪与运动趋势估计的多目标实时跟踪方法,其特征在于,所述图像采集设备安装在车辆上,感知区域覆盖车辆前方;所述目标包括:车辆、行人、非机动车。
8.一种计算机设备,其特征在于,包括:
存储器,用于存储指令;以及处理器,用于调用所述存储器存储的指令执行如权利要求1-7中任一项所述的融合视觉光流特征点追踪与运动趋势估计的多目标实时跟踪方法。
9.一种计算机可读存储介质,其特征在于,存储有指令,所述指令被处理器执行时,执行如权利要求1-7中任一项所述的融合视觉光流特征点追踪与运动趋势估计的多目标实时跟踪方法。