1.一种面向海面场景的多目标跟踪方法,其特征在于,包括:步骤S1,使用无人艇搭载的相机采集海面场景图像,对图像预处理后进行YOLOv8m检测模型的训练;
对图像进行YOLOv8m检测模型的训练时:
1)使用包括图像翻转、平移、裁剪、HSV饱和度增强、HSV数值增强的数据增强方法;
2)选择SGD作为优化器,初始学习率设置为0.01,衰减率为0.0005,动量为0.937;
3)使用YOLOv8官方提供的预训练权重,前三个训练回合使用预热学习策略,后续使用余弦退火策略;
4)使用二值交叉熵损失作为类别损失函数,每类别判断“是否为此类”,并输出置信度;所述二值交叉熵损失的计算公式如下所示:其中,
其中,
5)目标概率损失和边界框损失使用CIoU+DFL损失函数;
CIoU损失
其中,
DFL损失的表达式如下所示:
其中,
步骤S2,将待检测图片送入已训练好的YOLOv8m检测模型中进行海面场景目标检测,输出目标检测框信息;
步骤S3,判断当前图片是否是第一帧图片,若是,则初始化多目标跟踪器,再进入步骤S4,若否,则采用相机运动补偿算法对图片进行相邻两帧之间的图像配准操作,通过计算放射矩阵,利用放射矩阵对扩展卡尔曼滤波器预测的先验估计位置进行校正,再进入步骤S4;
步骤S4,将图片和目标检测框信息送入多目标跟踪器内,扩展卡尔曼滤波器生成轨迹预测框,将目标检测框和轨迹预测框进行基于IoU、基于ReID特征、基于马氏距离的匹配,从而生成新的轨迹信息并更新扩展卡尔曼滤波器;
步骤S5,判断当前图片是否是最后一帧图片,若是,则结束多目标跟踪器,输出最终的跟踪轨迹集合,若否,则转至步骤S2。
2.根据权利要求1所述的面向海面场景的多目标跟踪方法,其特征在于:步骤S1中,对图像预处理包括:先通过半自动化标注软件对图像序列进行MOT格式标注,然后将图像转化为yolo格式文件,并按照一定比例划分为训练集、验证集和测试集。
3.根据权利要求2所述的面向海面场景的多目标跟踪方法,其特征在于:步骤S3中,采用相机运动补偿算法对图片进行处理时:
1)通过角点检测计算图片背景中的特征点,提取关键点,使用稀疏光流进行特征跟踪,同时删除掉局部离群点;
2)使用随机抽样一致算法计算放射矩阵
其中,
3)考虑多目标跟踪算法中的状态向量
根据下式(7)计算相机运动补偿后扩展卡尔曼滤波器的预测协方差矩阵以及在第其中,
4.根据权利要求3所述的面向海面场景的多目标跟踪方法,其特征在于:步骤S4中,将目标检测框和卡尔曼滤波器预测框进行基于ReID特征、基于IoU、基于马氏距离的匹配时:
1)第
2)确认态轨迹预测框和目标检测框信息送入级联匹配中,根据运动信息和ReID特征信息构建代价矩阵,通过匈牙利算法完成第一次匹配;
3)不确认态轨迹预测框进行基于IoU的匹配,和第一次匹配失败轨迹和第一次匹配失败目标一同基于IoU构建代价矩阵,通过匈牙利算法完成第二次匹配;
4)第二次匹配失败轨迹和第二次匹配失败目标进行基于马氏距离的匹配,根据轨迹预测框和目标检测框的马氏距离构建代价矩阵,从而完成第三次基于马氏距离的匹配;
5)三次匹配过程中的匹配成功轨迹送入扩展卡尔曼滤波器更新阶段,第三次匹配过程中匹配失败的轨迹,其中未确认态轨迹和确认态轨迹中超出最大未匹配数的直接删除,未超出最大未匹配数的轨迹和匹配失败目标形成的新轨迹送入轨迹管理器,为新轨迹分配新ID,结合完成扩展卡尔曼滤波器更新阶段的轨迹,一同形成第
6)下一帧到来后继续进行步骤1),如此循环直到跟踪结束。
5.根据权利要求4所述的面向海面场景的多目标跟踪方法,其特征在于:步骤S4中,基于马氏距离的匹配的过程如下:
1)在基于ReID特征匹配和基于IoU的匹配之后,针对剩余的未匹配成功的目标检测框和跟踪轨迹,进行第三次匹配,即基于马氏距离的匹配;
2)计算目标检测框
其中,
3)定义代价矩阵
其中,参数
4)完成基于马氏距离的代价矩阵计算,使用匈牙利算法来进行匹配,获得全局最优解,完成第三次匹配。
6.根据权利要求5所述的面向海面场景的多目标跟踪方法,其特征在于:步骤S4中,在轨迹预测和更新过程中,使用扩展卡尔曼滤波器拟合目标非线性运动问题时:
1)初始化状态变量和误差协方差矩阵;
2)预测阶段,包括计算如下式(10)的系统状态预测方程以及如下式(11)的误差协方差矩阵其中,
3)计算卡尔曼增益
其中,
4)更新阶段,根据下式(13)更新状态估计,以及根据下式(14)更新误差协方差矩阵;
其中,