1.一种基于视频轨迹特征关联学习的无监督行人重识别方法,其特征在于,包括以下步骤:
S1:输入行人重识别视频数据集,数据集由视频片段组成,视频片段包括多条行人轨迹和多张行人图像;
S2:对行人重识别视频数据集进行稀疏时空轨迹采样,得到行人视频轨迹样本;在视频片段中为每条行人轨迹抽出相同数量的帧,给上相机标签,组成行人视频轨迹;
S3:对行人视频轨迹样本进行预训练,获得行人重识别预训练网络模型;
S4:在行人重识别预训练网络模型中添加全连接层,所述全连接层用于提取每张行人图像的特征,构建视频轨迹特征向量表;
S5:根据行人视频轨迹特征向量表进行轨迹联合学习,得到联合学习损失函数,其包括:
相机内轨迹联合学习,对每张行人图像进行特征学习,获取视频轨迹特征向量表中每张行人图像的特征;根据行人轨迹整合每张行人图像的特征,得到视频轨迹特征向量;根据行人图像的特征和视频轨迹特征向量,得到正样本和负样本,从而得到相机内行人联合学习损失函数;
相机间轨迹联合学习,获取视频轨迹特征向量表中每张行人图像的特征,将相机中一个行人视频轨迹中每张行人图像,与其它相机的每个行人视频轨迹中每张行人图像进行特征相似度计算,按照特征相似度将行人视频轨迹进行排序,并交换计算顺序,交叉验证相似度最高的两个行人视频轨迹的身份,得到相机间联合学习损失函数;
S6:更新视频轨迹特征向量表;
S7:模型训练,基于行人视频轨迹特征向量表建立无监督视频轨迹特征向量关联学习行人重识别模型;在行人视频轨迹样本上训练无监督视频轨迹特征向量关联学习行人重识别模型;优化模型;
S8:进行无监督测试,通过对相机内和相机间行人视频轨迹的联合学习,挖掘行人轨迹潜在关系;通过评估策略,评估无监督视频轨迹特征向量关联学习行人重识别模型的性能。
2.根据权利要求1所述的一种基于视频轨迹特征关联学习的无监督行人重识别方法,其特征在于,S1中,行人重识别视频数据集包括不同相机的多个视频片段。
3.根据权利要求1所述的一种基于视频轨迹特征关联学习的无监督行人重识别方法,其特征在于,S2中,采用稀疏时空轨迹采样方法对每个相机的行人视频轨迹进行采样,使得在一个相机中,每个行人身份对应一个行人视频轨迹;行人视频轨迹样本表示为 其中 是第c个相机中的第t个行人视频轨迹, 是对应的唯一伪标签,c∈{1,2,...,C},C是相机的数量;t∈{1,2,...,Mc},Mc表示相机c中采样的视频轨迹的数量; 其中, 是行人视频轨迹 的第n个人图像。
4.根据权利要求3所述的一种基于视频轨迹特征关联学习的无监督行人重识别方法,其特征在于,S5中,得到所述相机内行人联合学习损失函数的步骤为:步骤1:通过欧几里得距离计算公式,计算同一个相机内的一张行人图像的特征与同一相机内的其他视频轨迹特征向量的距离,并进行排序;
其中行人图像表示为 视频轨迹特征向量表示为 则行人图像的特征与视频轨迹特征向量之间的欧几里得距离为:其中φ(·)是一个特征嵌入模型, 表示行人图像的特征,对得到的欧几里得距离进行排序,得到排名列表,排名列表表示为:行人图像 与视频轨迹特征向量 具有相同的行人身份, 表示与包含该行人图像的视频轨迹特征向量,则在同一相机内排名第一的视频轨迹特征向量 与包含相同组成帧的视频轨迹特征向量 行人身份相对应,则视频轨迹特征向量 为正样本,若 与 的行人身份不同,则 为负样本;
步骤2:通过三元组损失的形式定义相机内轨迹联合损失,并基于稀疏时空轨迹采样,得到正样本对距离和负样本对距离;
所述相机内轨迹联合损失表示为:其中[·]+=max(·,0),表示从大到小排序;Dr,r是行人图像的特征 与视频轨迹特征向量 之间的距离,Dr,i是行人图像的特征 与排名第一的视频轨迹特征向量 之间的距离,Dr,j是行人图像的特征 和排名第二的视频轨迹特征向量 之间的距离;m表示区分视频轨迹特征向量和其他轨迹的边距;
通过稀疏时空轨迹采样,所述正样本对距离表示为Dr,r,当r≠j时,负样本对距离是相机c中 与所有视频轨迹特征向量之间的最小距离; 将视频轨迹特征向量拉进到排名第一的视频轨迹特征向量;当r=j时,负样本对距离是 和所有轨迹之间次小的距离; 将进一步最小化 和 不同;
步骤3:通过正样本对距离和负样本对距离,得到相机内行人联合学习损失函数;
相机内行人联合学习损失函数表示为:其中Nbs表示为小批量次数,k表示一个批量中行人图像的序号。
5.根据权利要求4所述的一种基于视频轨迹特征关联学习的无监督行人重识别方法,其特征在于,S5中,得到所述相机间行人联合学习损失函数的步骤为:步骤1:选取相机p的视频轨迹特征向量 以及相机q的所有视频轨迹特征向量;
步骤2:通过欧几里得距离计算公式,计算视频轨迹特征向量 与相机q的所有视频轨迹特征向量之间的距离,并进行排序;
视频轨迹特征向量 与相机q的所有视频轨迹特征向量之间的距离表示为:其中φ(·)是一个特征嵌入模型,对得到的欧几里得距离进行排序,得到排名列表,排名列表表示为:
排名第一的视频轨迹特征向量表示为步骤3:将相机q中排名第一的视频轨迹特征向量 作为候选匹配的视频轨迹特征向量;通过欧几里得距离计算公式,计算视频轨迹特征向量 与相机p的所有视频轨迹特征向量之间的距离,并进行排序;
视频轨迹特征向量 与相机p的所有视频轨迹特征向量之间的距离表示为:其中φ(·)是一个特征嵌入模型,对得到的欧几里得距离进行排序,得到排名列表,排名列表表示为:
步骤4:将两次排序的结果,进行对齐操作,则对齐操作的结果表示为:其中 表示 是相匹配的轨迹, 表示 不相匹配;此外,通过阈值过滤策略,要求它们的余弦相似度大于阈值λ;其他相机中所有视频轨迹特征向量相对于视频轨迹特征向量 的权重可定义,即置信系数,置信系数表示为:将所有其他相机的轨迹 定义成潜在正轨迹集 则潜在正轨迹集 表示为:视频轨迹特征向量 为来自其他相机的潜在正轨迹;
步骤5:通过稀疏时空轨迹采样和伪标签,为 分配一个伪标签 为 随机分配一个伪标签 为 的潜在正轨迹;通过softmax函数为属于相机q中视频轨迹特征向量 的视频轨迹 中的帧 生成置信度分数:其中aq表示相机q中的所有视频轨迹特征向量,步骤6:通过置信系数和置信度分数,计算相机内轨迹联合损失,则所述相机间轨迹联合损失表示为:
由于潜在正轨迹集 中的所有视频轨迹特征向量都是 的潜在正轨迹,则视频轨迹特征向量的损失表示为:
则所述相机间行人联合学习损失函数表示为:其中Nbs表示为小批量次数,k表示一个批量中行人图像的序号。
6.根据权利要求5所述的一种基于视频轨迹特征关联学习的无监督行人重识别方法,其特征在于,S6中,更新所述视频轨迹特征向量表包括相机内更新、以及相机间更新;
所述相机内更新采用指数移动平均策略,通过使用同一相机内的视频轨迹特征向量的帧更新所述视频轨迹特征向量表;
所述相机内更新的表示公式为:
其中b表示小批量学习迭代的次数, 用零初始化;
所述相机间更新通过拉近其他相机的潜在正轨迹,找到更多潜在正轨迹,进行更新所述视频轨迹特征向量表;
所述相机间更新的表示公式为:
其中γ表示学习率,b表示小批量学习的迭代次数。
7.根据权利要求5所述的一种基于视频轨迹特征关联学习的无监督行人重识别方法,其特征在于,S7中,所述模型训练包括:S7.1:基于行人视频轨迹特征向量表建立无监督视频轨迹特征向量关联学习行人重识别模型;
S7.2:在行人视频轨迹样本的基础上,通过相机内行人联合学习损失函数训练无监督视频轨迹特征向量关联学习行人重识别模型;
S7.3:通过相机间行人联合学习损失函数优化无监督视频轨迹特征向量关联学习行人重识别模型。
8.根据权利要求6所述的一种基于视频轨迹特征关联学习的无监督行人重识别方法,其特征在于,S8中,测试的步骤为:S8.1:行人重识别视频数据集作为测试集,选取一个数据集作为查询集,选取另一个数据集作为验证集;将查询集与验证集分别输入到无监督视频轨迹特征向量关联学习行人重识别模型内;
S8.2:提取查询集的行人视频轨迹的特征,得到查询集的视频轨迹特征向量;提取验证集的行人视频轨迹的特征,得到验证集的视频轨迹特征向量;
S8.3:将查询集的视频轨迹特征向量与验证集的视频轨迹特征向量进行相似度比较,并进行排序;
S8.4:采用轨迹‑轨迹重识别评估策略,评估无监督视频轨迹特征向量关联学习行人重识别模型。
9.根据权利要求5所述的一种基于视频轨迹特征关联学习的无监督行人重识别方法,其特征在于,所述视频轨迹特征向量的损失中 表示小批量中的每个行人图像,视频轨迹特征向量 的导数表示为:
其中 是 的伪标签。