1.一种基于多元差异性融合的行人多目标跟踪方法,其特征在于,包括如下步骤:
(1)获取训练样本集Dtrain和测试样本集Dtest:
(1a)对选取的V个带有行人检测框标签和身份标签的RGB图像序列进行预处理,得到预处理后的RGB图像帧序列集合 并将Sv中I个预处理后的RGB图像帧序列所包含的RGB图像帧作为训练样本集Dtrain,将其余K个预处理后的RGB图像帧序列作为测试样本集Dtest,其中 表示第m个包含Lm帧预处理过的RGB图像帧序列,(n)
f 表示预处理过的第n个RGB图像帧,I>K,I+K=V,V>20,Lm>
200;
(2)构建基于多元差异性融合的检测和重识别集成式网络模型O:
(2a)构建基于多元差异性融合的检测和重识别集成式网络模型O的结构:
构建检测和重识别集成式网络模型O的结构,包括骨干网络Netbackbone、与Netbackbone级联的并行排列且结构相同的第一特征融合子网络As和第二特征融合子网络Al和融合模块,其中,第一特征融合子网络As的输出端连接有并行排布的关键点偏移预测子网络Netoffset、小目标偏好关键点热图预测子网络Nethm_s和边界框预测子网络Netbbox,第二特征融合子网络Al的输出端连接有并行排布的大目标偏好关键点热图预测子网络Nethm_l和重识别特征提取子网络Netreid,其中:骨干网络Netbackbone采用由多个二维卷积层、多个批归一化层、多个二维池化层、多个可形变卷积层和多个转置卷积层组成的树状聚合迭代网络;
第一特征融合子网络As和第二特征融合子网络Al均包括多个空间注意力子网络Netsam和一个通道注意力子网络Netcam;空间注意力子网络Netsam包括并行排布的全局平均池化层和全局最大池化层,以及与该两个池化层连接的二维卷积层,通道注意力子网络Netcam包括并行排布的全局平均池化层与全局最大池化层,其中全局平均池化层和全局最大池化层各级联有两个二维卷积层;Netoffset、Nethm_s、Netbbox、Nethm_l以及Netreid子网络均采用包括依次级联的第一个卷积层、rule激活层和第二个卷积层,Netreid输出端级联一个全连接层,Nethm_s和Nethm_l输出端与融合模块级联;
(2b)定义关键点热图预测任务的损失函数Lheatmap:
其中,N表示预测的关键点热图中关键点的数量,α和β表示超参数, 和Yxy分别表示预测的关键点热图中坐标(x,y)处关键点的标签和响应值,∑表示求和操作,log表示取对数操作;
(3)对基于多元差异性融合的检测和重识别集成式网络模型O进行迭代训练:
(3a)初始化检测和重识别集成式网络模型O权重参数为θJ,迭代次数为t,最大迭代次数为T,T≥50000,并令t=0;
(3b)对从训练样本集Dtrain中随机选取的bs∈[16,64]个训练样本进行随机数据增强,并依据增强方式对每个训练样本的检测框信息进行更新,得到检测框信息更新后的bs个数据增强训练样本,将更新信息后的检测框中高与图像帧高的比值ratio大于阈值thratio的行人目标作为大目标,将ratio小于阈值thratio的行人目标作为小目标,最后根据更新后的检测框信息和身份信息以及大小目标的划分结果,确定小目标偏好关键点热图标签大目标偏好关键点热图标签 差异性融合关键点热图标签 边界框标签
labelbbox、关键点偏移标签labeloffset、重识别身份标签labelid;
(3c)将数据增强后的bs个训练样本作为检测和重识别集成式网络模型O的输入,骨干网络Netbackbone对每个训练样本进行提取特征,得到该训练样本的三个不同尺度的特征图Feat1、Feat2、Feat3;
(3d)第一特征融合子网络As对Feat1、Feat2、Feat3进行自适应融合,得到特征图Feats,关键点偏移预测子网络Netoffset、小目标偏好关键点热图预测子网络Nethm_s和边界框预测子网络Netbbox分别以Feats为输入进行前向推理,得到Netoffset对应的关键点偏移预测值向量Vecoffset、Nethm_s对应的小目标偏好的关键点热图预测结果Hm_S和Netbbox对应的关键点到目标框上下左右的距离值向量Vecdis_bbox;同时第二特征融合子网络Al对Feat1、Feat2、Feat3进行自适应融合,得到特征图Featl,大目标偏好关键点热图预测子网络Nethm_l和重识别特征提取子网络Netreid分别以Featl为输入,进行前向推理,得到Nethm_l对应的大目标偏好的关键点热图预测结果Hm_L和Netreid对应的重识别特征向量Vecreid,全连接层对Vecreid进行分类,得到行人身份分类结果;融合模块对Hm_S关键点热图和Hm_L关键点热图进行融合,得到融合后的关键点热图Hm;
(3e)采用L1损失函数,通过输入关键点偏移预测值与其标签labeloffset计算关键点偏移预测结果的损失值Loff,同时输入边界框预测值与其标签labelbbox计算边界框预测结果的损失值Lbbox,并采用交叉熵损失函数,通过输入行人身份分类结果与其标签labelid计算重识别特征提取结果的损失值Lreid,然后采用关键点热图预测任务的损失函数Lheatmap,分别通过输入Hm_S、Hm_L以及Hm与其对应标签 计算各自损失值Lhm_s、Lhm_l、Lhm,最后对Loff、Lbbox、Lreid、Lhm_s、Lhm_l和Lhm进行自适应加权求和,得到检测和重识别集成式网络模型O的损失值Ltotal;
(3f)采用反向传播方法,并通过损失值Ltotal计算检测和重识别集成式网络模型O的权重参数梯度,然后采用梯度下降算法,通过O的权重参数梯度对权重参数θJ进行更新;
(3g)判断t>T是否成立,若是,得到训练好的检测和重识别集成式网络模型O′,否则令t=t+1,并执行步骤(3b);
(4)获取行人多目标跟踪结果:
(4a)初始化测试样本集Dtest第k个测试样本为 包括P个RGB图像帧,第p个RGB(p) (k)
图像帧为f ,P>200,并令k=1,同时初始化历史轨迹集合Tra ={};
(4b)令p=1;
(p)
(4c)将测试样本集 中的第p个RGB图像帧f 作为训练好的检测和重识别集成式网(p)
络模型O′的输入进行前向传播,得到f 的关键点偏移预测值Vecoffset、目标框四周到关键点上下左右的距离值Vecdis_bbox、关键点热图预测结果Hm和重识别特征向量Vecreid,并对(p)Vecoffset、Vecdis_bbox以及Hm进行解码,得到f 中的行人检测框集合Det={deti|0≤i≤DN‑(p)
1},其中deti表示第i个行人的检测框,DN表示f 中检测到行人的数量;
(p)
(4d)筛选出f 中检测到的关键点响应值confi大于响应阈值thconf的行人目标Object={objecti|confi>th,0≤i≤DN‑1},并在Det集合以及Vecreid向量中获得对应行人目标的检测框和重识别特征向量信息;
(4e)根据筛选后行人目标的检测框和重识别特征向量信息,采用在线关联的方法对筛(k) (p)选后的行人目标集合Object与历史轨迹集合Tra 进行数据关联,得到f 的行人多目标跟踪结果;
(4f)判断p≥P是否成立,若是,得到测试样本 的行人多目标跟踪结果,否则令p=p+(k)
1,更新历史轨迹集合Tra ,并执行步骤(4c);
(4g)判断k≥K是否成立,若是,得到测试样本集Dtest的行人多目标跟踪结果,否则令k=k+1,并执行步骤(4b)。
2.根据权利要求1所述的基于多元差异性融合的行人多目标跟踪方法,其特征在于,步骤(1a)中所述的对选取的V个带有行人检测框标签和身份标签的RGB图像序列进行预处理,实现步骤为:(1a1)采用双线性插值方法对每个RGB图像序列中的每个RGB图像帧尺寸进行调整,得到所有RGB图像帧尺寸相等的RGB图像帧序列集合Sv′;
(1a2)将RGB图像帧序列集合Sv′中的行人检测框标签与尺度变化后的图像同步更新,同时对行人身份标签统一编码,即对于缺失身份信息的数据样本,将其身份标签设置为‑1,对每个单独身份的行人依次从1递增编码标记,得到对RGB图像帧的尺寸调整且对检测框标签和身份标签更新后的RGB图像帧序列集合 实现对V个带有行人检测框标签和身份标签的RGB图像序列进行预处理。
3.根据权利要求1所述的基于多元差异性融合的行人多目标跟踪方法,其特征在于,步骤(2a)中所述的基于多元差异性融合的检测和重识别集成式网络模型O的结构,其中:骨干网络Netbackbone所包含的二维卷积层、批归一化层、二维池化层、可形变卷积层和转置卷积层的数量分别为27、37、6、4和2;
第一特征融合子网络As和第二特征融合子网络Al各包含三个结构相同的空间注意力子网络Netsam,该Netsam包含的二维卷积层的卷积核尺寸为3x3,步长为1,输出维度为1;通道注意力子网络Netcam所包含的二维卷积层的数量分别为4个,Netcam包含的二维卷积层的卷积核的尺寸为1x1,步长为1;
Netoffset、Nethm_s、Netbbox、Nethm_l以及Netreid子网络中所包含的第一个卷积层和第二个卷积层的卷积核大小为3x3,步长为1。
4.根据权利要求1所述的基于多元差异性融合的行人多目标跟踪方法,其特征在于,步骤(3b)中所述的对从训练样本集Dtrain中随机选取的bs个训练样本进行随机数据增强,并依据增强方式对每个训练样本的检测框信息进行更新,实现步骤为:(3b1)对每个训练样本进行随机θ角度旋转,θ∈[‑5,5],并对随机角度旋转后的每个训练样本以s为系数进行随机尺度变化,s∈[0.9,1.1],然后对随机尺度变化后的每个训练样本以r为系数进行随机图像明暗度变化操作,r∈[‑0.2,0.2],得到bs个随机数据增强后的训练样本;
(3b2)根据θ和s的值对检测框标签进行同步更新,得到检测框信息更新后的bs个数据增强后的训练样本。
5.根据权利要求1所述的基于多元差异性融合的行人多目标跟踪方法,其特征在于,步骤(3e)中所述的检测和重识别集成式网络模型O的损失值Ltotal,其计算公式为:Ldet=a×(0.6×Lhm+0.15×Lhm_l+0.25×Lhm_s)+b×Loff+c×Lbbox其中,参数a、b和c是常数项系数,w1和w2是可学习参数。
6.根据权利要求1所述的基于多元差异性融合的行人多目标跟踪方法,其特征在于,步骤(3f)中所述的通过O的权重参数梯度对权重参数θJ进行更新,更新公式为:其中: 表示更新后的网络参数, 表示更新前的网络参数,αJ表示步长,
表示O的网络参数梯度。