1.基于相机运动趋势估计的多目标视觉跟踪方法,其特征在于,包括以下步骤:获取视频流数据,并通过目标检测结果获取目标在图像平面的像素坐标;
获取相机参数,利用单应性变换将图像平面的目标映射到大地平面,得到映射测量值;
根据相机的运动趋势计算相应的过程补偿因子,进而计算得到过程噪声协方差矩阵,具体过程为:步骤b1、相机的运动趋势包括旋转、倾斜或静态场景,根据不同的相机运动场景,计算出相应的过程补偿因子;
步骤b2、将计算好的过程补偿因子σ
Q
其中,σ
计算目标在地平面上的测量分布,将该分布反馈至卡尔曼滤波器中进行迭代计算,并根据过程噪声协方差矩阵对卡尔曼滤波器进行修正,卡尔曼滤波器预测输出目标的轨迹状态;
利用映射测量值和预测的轨迹状态作为输入来计算映射的马氏距离,并将结果存入关联代价矩阵中;
根据关联代价矩阵,通过匈牙利算法关联有效检测框与预测轨迹,获取完整的轨迹片段。
2.根据权利要求1所述的基于相机运动趋势估计的多目标视觉跟踪方法,其特征在于,所述的利用单应性变换将图像平面的目标映射到大地平面,是利用单应性变换将图像平面的目标检测框底边中点的坐标(u,v)投影到地面坐标,得到映射测量值,具体过程如下:步骤a1、获取相机参数,包含内部参数矩阵K步骤a2、计算单应性变换矩阵A,单应性变换矩阵A由相机的内部参数和外部参数共同决定,表示为:A=K
其中,K
步骤a3、将相机模型理想化为线性相机模型,再根据单应性变换矩阵A,导出地平面坐标与图像平面坐标的关联表达式为:其中,γ是比例因子,(x,y,z)表示目标检测框在世界坐标系下沿X轴、Y轴和Z轴的长度;
将地平面坐标与图像平面坐标的关联表达式中的z当作常量,则地平面坐标的x和y,与图像平面坐标的u和v之间的映射关系进一步表示为:步骤a4、已知图像平面的坐标和相机参数,对步骤a3中的矩阵A求逆运算,得到:其中,b为运算过程中定义的由b1、b2、b3组成的中间矩阵;
即可由图像平面坐标反求得到地平面坐标:
x=γ×b1,y=γ×b2;
其中,
3.根据权利要求1所述的基于相机运动趋势估计的多目标视觉跟踪方法,其特征在于,根据IMU旋转角速度与过程补偿因子的函数关系式,计算相机的运动趋势为旋转或静态场景的过程补偿因子。
4.根据权利要求1所述的基于相机运动趋势估计的多目标视觉跟踪方法,其特征在于,根据前后帧图像的跟踪目标的像素偏移量与过程补偿因子的函数关系式,计算相机的运动趋势为倾斜或静态场景的过程补偿因子。
5.根据权利要求3或4所述的基于相机运动趋势估计的多目标视觉跟踪方法,其特征在于,通过IMU旋转角速度与过程补偿因子的分段函数,计算相机的运动趋势为旋转或静态场景的过程补偿因子;
通过前后帧图像的跟踪目标的像素偏移量与过程补偿因子的分段函数,计算相机的运动趋势为倾斜或静态场景的过程补偿因子。
6.根据权利要求2所述的基于相机运动趋势估计的多目标视觉跟踪方法,其特征在于,计算目标在地平面上的测量分布,将该分布反馈至卡尔曼滤波器中进行迭代计算,是计算由图像平面中的误差引起的地平面中的检测误差的分布,最后再将计算出的地面检测误差反馈至卡尔曼滤波器中,具体过程如下:计算图像平面中的探测器误差,图像平面中的探测器的测量误差遵循独立的正态分布,其协方差矩阵其中,σ
对步骤a3的单应性变换矩阵A求逆为:
由此获得地平面上的映射测量噪声矩阵R
其中,B为定义的中间矩阵,B
建立恒速卡尔曼滤波器模型,选择状态向量x、观测向量z:其中,x和y是步骤a4所求图像平面的目标检测框底边中点的坐标映射到大地平面的x轴和y轴的坐标值,其观测向量z为:
将过程噪声协方差Q
7.根据权利要求6所述的基于相机运动趋势估计的多目标视觉跟踪方法,其特征在于,卡尔曼滤波器预测目标的轨道状态向量的具体运算过程如下:卡尔曼滤波器算法分为预测和更新两个阶段,其预测部分的递推方程如下:其中,
卡尔曼滤波器的更新部分的递推方程如下:
K
P
其中,K
先将第一帧的目标状态向量输入到卡尔曼滤波器中,通过设定的状态转移矩阵F
8.根据权利要求7所述的基于相机运动趋势估计的多目标视觉跟踪方法,其特征在于,利用映射测量值和预测的轨迹状态作为输入来计算映射的马氏距离,并将结果存入关联代价矩阵的具体过程如下:计算地平面上的映射测量值z与卡尔曼滤波器预测状态的残余,计算公式为:其中,ε是地平面上的映射测量值组成的观测向量z与卡尔曼滤波器中的观测向量计算残差协方差矩阵S,表达式如下:
S=HP
计算映射测量值z和预测的轨迹状态
D=ε
上式中,|S|表示矩阵S的行列式,ln表示自然对数,D表示归一化马氏距离;
根据当前检测目标的个数确定关联代价矩阵C的行数n,并根据跟踪预测目标的个数确定关联代价矩阵C的列数m,关联代价矩阵C表示为:对于每个检测目标和每个跟踪预测,计算归一化马氏距离D后存储在关联代价矩阵C的相应位置。
9.根据权利要求1~4任一项或6~8任一项所述的基于相机运动趋势估计的多目标视觉跟踪方法,其特征在于,根据关联代价矩阵,通过匈牙利算法关联有效检测框与预测轨迹,获取完整的轨迹片段的具体过程为:步骤c1、对关联代价矩阵C进行最小值剔除处理,获得含零矩阵:先确定关联代价矩阵C每行的最小值,并将其每行减去该行的最小值;
再确定关联代价矩阵C每行的最小值,并将其每列减去该列的最小值,从而得到含有多个零元素的关联代价矩阵C,即含零矩阵;
步骤c2、利用最少的水平线和垂直线覆盖所述含零矩阵中的所有零元素,并记录水平线和垂直线的使用总数:步骤c3、判断所述水平线和垂直线的使用总数是否小于含零矩阵的行数,若是,在未被水平线和垂直线覆盖的元素中找到最小值,没有被水平线覆盖的每行减去该最小值,被垂直线覆盖的每列加上该最小值,并返回步骤c2;若否,则停止匈牙利算法,最终所得含零矩阵的对角线上的零元素代表最佳分配,即可获得有效检测框与预测轨迹之间的匹配关系。