1.一种基于轨迹管道回归预测与关联的多目标跟踪方法,其特征在于,包括以下步骤:
S1,获取并识别场景目标,包括既有目标和新目标,输出场景目标的轨迹管道,包括:将既有目标与其身份标识对应的轨迹管道匹配拼接,输出既有目标更新后的轨迹管道;构建与新目标身份标识相对应的轨迹管道,输出新目标的轨迹管道;
S2,对步骤S1输出的轨迹管道进行位置修正,输出场景目标在当前帧的预测位置;
S3,选择任意两条身份标识不同的轨迹管道并计算二者之间的时空关联度、位置误差和外形误差,分别对该两条轨迹管道进行质量打分,对发生冲突且质量得分低的轨迹管道执行抑制操作;
S4,对场景目标的所有轨迹管道执行步骤S3操作,输出所有未被抑制的轨迹管道的身份标识及其当前帧预测位置,完成对场景目标的跟踪;
步骤S1包括:通过Faster R-CNN网络模型输出场景目标的检测信息,包括检测框和原始分类置信度,其中,检测框的信息包括边界框坐标和外观特征向量;
将场景目标的检测信息与既有的轨迹管道进行匹配,对于成功匹配的既有目标,将该既有目标的边界框坐标和外观特征向量追加到其历史轨迹管道数据结构的末尾,输出既有目标更新后的轨迹管道;对于未能成功匹配的新目标,初始化一个新的轨迹管道,输出新目标的轨迹管道;
通过卡尔曼滤波器根据场景目标上一时刻的后验状态,预测出其在当前帧的先验位置,输出场景目标的轨迹管道预测位置;
计算每个既有目标和新目标的检测信息与轨迹管道预测位置之间的马氏距离,并将该马氏距离作为运动成本;
将需要进行匹配的一组检测信息与轨迹管道定义为检测-轨迹对,设置关联度阈值,对于运动成本低于关联度阈值的检测-轨迹对,进入下一层匹配,否则终止匹配,输出成本矩阵;
将成本矩阵输入匈牙利算法,输出检测信息与轨迹管道的匹配结果,包括成功匹配的检测-轨迹对以及未成功匹配的检测信息,其中,未成功匹配的检测信息包括未能匹配任何轨迹管道的未匹配检测信息和/或未能匹配任何检测信息的未匹配轨迹管道;
对于成功匹配的检测-轨迹对,将相匹配的检测信息的边界框坐标作为新的观测值,输入卡尔曼滤波器进行运动状态校正和更新,对于未成功匹配的轨迹管道不进行更新。
2.根据权利要求1所述的一种基于轨迹管道回归预测与关联的多目标跟踪方法,其特征在于,通过下述步骤输出场景目标在当前帧的预测位置:,提取轨迹管道中第帧和第帧的图像特征,分别从第t时刻和t-1时刻来预测场景目标在当前位置的初步回归结果;
,基于场景目标的初步回归包围框与历史包围框之间的位置损失,构建场景目标的位置损失矩阵;
,对于具有相同身份标识的场景目标,将其修正后的两组回归位置之间的交并比作为该场景目标本次回归预测的置信度,并将该场景目标回归预测的置信度与预设阈值进行比较:若置信度预设阈值,随机选择其中之一作为该场景目标在当前帧的预测位置的最终回归包围框;
若置信度<预设阈值,将该场景目标的两组回归位置中置信度高的回归位置作为最终回归包围框,将置信度低的回归位置定义为潜在目标,构建潜在目标集合。
3.根据权利要求2所述的一种基于轨迹管道回归预测与关联的多目标跟踪方法,其特征在于,通过下述表达式预测场景目标在当前位置的初步回归结果;
,
,
式中,和为初步回归结果;和为历史包围框集合;和为对应的图像特征;为回归预测网络;
通过下述表达式构建潜在目标集合:
,
式中,为第t+1帧的潜在目标集合;为第k个低置信度的预测位置;和为两组回归位置;为预设阈值;
构建场景目标的位置损失矩阵包括以下步骤:
,通过Faster R-CNN网络模型输出偏移量,构建初步回归包围框,表达式如下:,
式中,和为目标建议框的中心坐标;和为目标建议框的宽度和高度;和为回归网络预测的中心点偏移量;和为回归网络预测的尺寸缩放因子;和为预测包围框的中心坐标;和为预测包围框的宽度和高度;
,通过下述表达式构建场景目标的位置损失矩阵:,
场景目标的初步回归包围框与历史包围框之间的位置损失计算公式为:,
式中,为位置损失矩阵元素;为历史目标索引,;为回归结果索引,;为历史包围框;为初步回归的包围框;为交并比;
求解损失矩阵的最优匹配,输出身份信息修正后的场景目标的两组回归位置,包括:第一组回归位置,表达式为:
,
,
式中,为基于t帧数据预测的t+1帧位置集合;为基于t帧数据预测的目标k在t+1帧的位置;和为基于t帧数据预测的目标k的预测中心点坐标;和为基于t帧数据预测的目标k的预测包围框宽和高;
第二组回归位置,表达式为:
,
,
式中,为基于t-1帧数据预测的t+1帧位置集合;为基于t-1帧数据预测的目标k在t+1帧的位置;和为基于t-1帧数据预测的目标k的预测中心点坐标;和为基于t-1帧数据预测的目标k的预测包围框宽和高。
4.根据权利要求1所述的一种基于轨迹管道回归预测与关联的多目标跟踪方法,其特征在于,通过下述公式计算两条轨迹管道之间的时空关联度:,
式中,为轨迹管道i和轨迹管道j在当前帧的关联度;为轨迹管道i在当前帧的预测位置;为轨迹管道j在当前帧的预测位置;为轨迹管道i和轨迹管道j在上一帧的历史关联度;为关联度阈值,取值范围为0.5至0.7;t为上一帧,t+1为当前帧。
5.根据权利要求1所述的一种基于轨迹管道回归预测与关联的多目标跟踪方法,其特征在于,通过下述公式计算两条轨迹管道的位置误差:
,
式中,为候选轨迹管道包围框在两帧之间中心点在x方向上的绝对位移误差;为候选轨迹管道包围框在两帧之间中心点在y方向上的绝对位移误差;为第t帧的包围框的高度;为第t帧的包围框的宽度;
通过下述公式计算两条轨迹管道的外形误差:
,
式中,为第t帧和第t+1帧的两个包围框所形成候选轨迹管道的外形误差;为候选轨迹管道在两帧之间高度的绝对误差;为候选轨迹管道在两帧之间宽度绝对误差;为第t帧的包围框的高度;为第t帧的包围框的宽度。
6.根据权利要求1所述的一种基于轨迹管道回归预测与关联的多目标跟踪方法,其特征在于,通过下述公式计算轨迹管道的质量得分:,
式中,为轨迹管道的质量得分;为目标检测器输出的原始分类置信度;和为高斯函数的标准差;为轨迹管道的位置误差;为轨迹管道的外形误差。
7.根据权利要求1所述的一种基于轨迹管道回归预测与关联的多目标跟踪方法,其特征在于,所述跟踪方法还包括以下步骤:
,筛选需要进行匹配的且空间上邻近的一组检测信息与轨迹管道作为候选目标;
,计算候选目标的尺寸损失、外观损失和方向损失,并将外观损失与方向损失加权求和;构建关联损失函数并求解关联损失函数的最小值;输出最优身份匹配关系,完成候选目标的身份重分配;
将空间上邻近的一组检测信息与轨迹管道定义为检测-轨迹对,通过下述表达式评价轨迹-检测对的空间邻近性:,
式中:为第i条轨迹在t帧的历史包围框;为第j个检测在t+1帧的包围框;为两个包围框的交集区域面积;为两个包围框的并集区域面积;
设置筛选阈值,当IoU>筛选阈值时定义为空间邻近;
通过下述方法筛选空间上邻近的轨迹-检测对:
输入轨迹集和检测集,通过下述公式计算IoU矩阵:;
通过公式筛选候选的轨迹-检测对,输出候选目标集合;
式中,为候选目标集合;为第条轨迹管道;为第个检测框;为轨迹管道与检测框的交并比值,即IoU值;为筛选阈值。
8.根据权利要求7所述的一种基于轨迹管道回归预测与关联的多目标跟踪方法,其特征在于,将候选目标的外观损失与方向损失进行加权求和,构建最终的关联损失函数,表达式为,式中,为权重;求解关联损失函数的最小值,输出最优身份匹配关系,完成候选目标的身份重分配,对未能匹配的检测框,将其初始化为新的轨迹管道,并为其赋予一个新的且唯一的身份标识。