1.基于局部‑全局协作的无监督视频行人再识别方法,其特征是,包括:对待识别视频数据进行行人检测,同时进行行人行动轨迹追踪处理,得到总的行人追踪片段;
在总的行人追踪片段中,为每个身份类别,选择一个行人追踪片段,作为一次性标记数据,构成有标记的行人追踪片段,剩余行人追踪片段作为未标记的行人追踪片段;
利用有标记的行人追踪片段,对卷积神经网络模型进行训练,得到初始的特征提取器;
卷积神经网络的损失函数,包括:身份分类损失函数和信息损失函数;
所述身份分类损失函数,是指:
其中,zi,j=μi,j+∈σi,j, 具体地,Nl为有标记行人追踪片段数目;T为每一个行人追踪片段所包含图像数目;mi,j为第i个行人追踪片段表示矩阵Mi=[fi,1,…,fi,T,gi]的第j列;fi,j为行人追踪片段中第j个图像经过训练好的特征提取器处理后得到的特征表示向量;gi为对Fi=[fi,1,…,fi,T]执行均值池化操作后得到的向量;
和 分别为全连接层映射;p(ci|zi,j)为一个全连接层预测出的当前输入zi,j为第ci个行人身份的概率值;
所述信息损失函数,是指:
L2=KL[p(Z|M),r(Z)],
其中, Zi=[zi,1,…,zi,T+1], r(Z)为标准多元正态分布,p(Z|M)为预测结果的分布,KL为相对熵;
向量提取步骤:基于初始的特征提取器分别提取未标记行人追踪片段与有标记行人追踪片段的局部‑全局特征向量;
基于未标记行人追踪片段与有标记行人追踪片段之间的局部‑全局特征向量的相似性,对未标记的行人追踪片段进行伪标记,得到伪标记的行人追踪片段;
具体步骤包括:
(1):采用初始的特征提取器,抽取有标记的行人追踪片段的全局特征和局部特征;将未标记行人追踪片段输入到已经训练好的特征提取器中,进行特征提取,提取出每一帧图像的特征向量,将所有帧图像的特征向量进行拼接,得到未标记行人追踪片段的局部特征表示;
对未标记行人追踪片段的局部特征表示进行均值池化操作,得到未标记行人追踪片段的全局特征表示向量;
采用初始的特征提取器,抽取未标记的行人追踪片段的全局特征和局部特征;将有标记行人追踪片段输入到已经训练好的特征提取器中,进行特征提取,提取出每一帧图像的特征向量,将所有帧图像的特征向量进行拼接,得到有标记行人追踪片段的局部特征表示;
对有标记行人追踪片段的局部特征表示进行均值池化操作,得到有标记行人追踪片段的全局特征表示向量;
(2):计算未标记行人追踪片段的全局特征与有标记的行人追踪片段的全局特征之间的第一相似度值;
(3):计算未标记行人追踪片段的局部特征与有标记的行人追踪片段的局部特征之间的第二相似度值;
(4):将第一相似度值与第二相似度值进行加权求和,得到未标记行人追踪片段与有标记行人追踪片段之间的最终相似性得分;
(5):选择最终相似性得分最大值所对应的有标记的行人追踪片段的标签,作为未标记的行人追踪片段的伪标签;将最终相似性得分作为对应伪标签的置信度分数;
利用伪标记的行人追踪片段对初始的特征提取器进行重新训练,得到重新训练好的特征提取器;返回向量提取步骤,直至所有伪标记行人追踪片段被筛选出用于训练特征提取器。
2.如权利要求1所述的方法,其特征是,对训练视频数据进行行人检测,是使用DPM行人检测器进行行人检测。
3.如权利要求1所述的方法,其特征是,进行行人行动轨迹追踪处理,是使用GMMCP行人追踪器进行行人追踪。
4.如权利要求1所述的方法,其特征是,利用有标记的行人追踪片段,对卷积神经网络模型进行训练,得到初始的特征提取器;具体步骤包括:将有标记的行人追踪片段中的图像作为卷积神经网络的输入值,将有标记的行人追踪片段的行人标签作为卷积神经网络的输出值,对卷积神经网络进行训练,得到训练好的卷积神经网络,即为初始的特征提取器。
5.如权利要求1所述的方法,其特征是,基于初始的特征提取器分别提取未标记行人追踪片段的局部‑全局特征向量;具体步骤包括:将未标记行人追踪片段的局部特征表示和未标记行人追踪片段的全局特征表示向量进行拼接,输出未标记行人追踪片段的局部‑全局特征表示。
6.如权利要求1所述的方法,其特征是,基于初始的特征提取器分别提取有标记行人追踪片段的局部‑全局特征向量;具体步骤包括:将有标记行人追踪片段的局部特征表示和有标记行人追踪片段的全局特征表示向量进行拼接,输出有标记行人追踪片段的局部‑全局特征表示。
7.如权利要求1所述的方法,其特征是,利用伪标记的行人追踪片段对初始的特征提取器进行重新训练,得到重新训练好的特征提取器;具体步骤包括:(a):选择置信度分数高于设定阈值的伪标记行人追踪片段,扩充训练视频数据;
(b):利用扩充后的训练视频数据,对初始的特征提取器进行再次训练,得到重新训练好的特征提取器。
8.基于局部‑全局协作的无监督视频行人再识别系统,其特征是,包括:行人追踪模块,其被配置为:对待识别视频数据进行行人检测,同时进行行人行动轨迹追踪处理,得到总的行人追踪片段;
行人追踪片段构建模块,其被配置为:在总的行人追踪片段中,为每个身份类别,选择一个行人追踪片段,作为一次性标记数据,构成有标记的行人追踪片段,剩余行人追踪片段作为未标记的行人追踪片段;
训练模块,其被配置为:利用有标记的行人追踪片段,对卷积神经网络模型进行训练,得到初始的特征提取器;卷积神经网络的损失函数,包括:身份分类损失函数和信息损失函数;
所述身份分类损失函数,是指:
其中,zi,j=μi,j+∈σi,j, 具体地,Nl为有标记行人追踪片段数目;T为每一个行人追踪片段所包含图像数目;mi,j为第i个行人追踪片段表示矩阵Mi=[fi,1,…,fi,T,gi]的第j列;fi,j为行人追踪片段中第j个图像经过训练好的特征提取器处理后得到的特征表示向量;gi为对Fi=[fi,1,…,fi,T]执行均值池化操作后得到的向量;
和 分别为全连接层映射;p(ci|zi,j)为一个全连接层预测出的当前输入zi,j为第ci个行人身份的概率值;
所述信息损失函数,是指:
L2=KL[p(Z|M),r(Z)],
其中, Zi=[Zi,1,…,zi,T+1], r(Z)为标准多元正态分布,p(Z|M)为预测结果的分布,KL为相对熵;
向量提取模块,其被配置为:基于初始的特征提取器分别提取未标记行人追踪片段与有标记行人追踪片段的局部‑全局特征向量;
伪标记模块,其被配置为:基于未标记行人追踪片段与有标记行人追踪片段之间的局部‑全局特征向量的相似性,对未标记的行人追踪片段进行伪标记,得到伪标记的行人追踪片段;
具体步骤包括:
(1):采用初始的特征提取器,抽取有标记的行人追踪片段的全局特征和局部特征;将未标记行人追踪片段输入到已经训练好的特征提取器中,进行特征提取,提取出每一帧图像的特征向量,将所有帧图像的特征向量进行拼接,得到未标记行人追踪片段的局部特征表示;
对未标记行人追踪片段的局部特征表示进行均值池化操作,得到未标记行人追踪片段的全局特征表示向量;
采用初始的特征提取器,抽取未标记的行人追踪片段的全局特征和局部特征;将有标记行人追踪片段输入到已经训练好的特征提取器中,进行特征提取,提取出每一帧图像的特征向量,将所有帧图像的特征向量进行拼接,得到有标记行人追踪片段的局部特征表示;
对有标记行人追踪片段的局部特征表示进行均值池化操作,得到有标记行人追踪片段的全局特征表示向量;
(2):计算未标记行人追踪片段的全局特征与有标记的行人追踪片段的全局特征之间的第一相似度值;
(3):计算未标记行人追踪片段的局部特征与有标记的行人追踪片段的局部特征之间的第二相似度值;
(4):将第一相似度值与第二相似度值进行加权求和,得到未标记行人追踪片段与有标记行人追踪片段之间的最终相似性得分;
(5):选择最终相似性得分最大值所对应的有标记的行人追踪片段的标签,作为未标记的行人追踪片段的伪标签;将最终相似性得分作为对应伪标签的置信度分数;
重训练模块,其被配置为:利用伪标记的行人追踪片段对初始的特征提取器进行重新训练,得到重新训练好的特征提取器;返回向量提取模块,直至所有伪标记行人追踪片段被筛选出用于训练特征提取器。
9.一种电子设备,其特征是,包括:一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序;其中,处理器与存储器连接,上述一个或多个计算机程序被存储在存储器中,当电子设备运行时,该处理器执行该存储器存储的一个或多个计算机程序,以使电子设备执行上述权利要求1‑7任一项所述的方法。
10.一种计算机可读存储介质,其特征是,用于存储计算机指令,所述计算机指令被处理器执行时,完成权利要求1‑7任一项所述的方法。