1.一种基于语义偏好挖掘的行人再辨识方法,其特征在于,利用ViT-Base模型构建基于语义偏好挖掘的行人再辨识模型并进行训练,包括:数据处理步骤,利用ViT-Base模型的行人再辨识常规网络进行计算,将行人图像数据处理为检索特征与部件特征;
语义对齐步骤,利用预训练的语义分割模型将行人图像处理为语义分割图,将语义分割图按空间位置划分为若干部件语义块,如下所示:y=S(x)
z
其中,
计算不同语义在语义分割图与部件语义块中的比例,如下所示:其中,δ为指示函数,其内部判断条件满足时值为1,不满足时值为0;r根据不同语义的比例对部件语义块分组进行语义对齐,获得各部件语义块分组对应的部件序号,如下所示:N
其中,N
偏好挖掘步骤,基于各语义的部件语义块分组对应的部件序号对部件特征分组,如下所示:q
u
其中,
f
g
其中,Net为共享的自注意网络,其输出一个与输入特征同样大小的输出特征,共享的自注意网络处理所有语义的部件特征组;Net交叉熵损失优化步骤,基于聚合后的所述检索特征计算身份的交叉熵损失,根据所述身份的交叉熵损失对所述语义偏好挖掘的行人再辨识模型进行随机梯度下降并完成模型训练。
2.如权利要求1所述的一种基于语义偏好挖掘的行人再辨识方法,其特征在于,所述基于语义偏好挖掘的行人再辨识模型中,所述ViT-Base模型的线性映射层与前六层Transformer块作为行人再辨识常规网络;所述ViT-Base模型的随后三层Transformer块作为共享的自注意网络;所述ViT-Base模型的最后三层Transformer块被复制为三份,分别作为服装语义、形体语义与环境语义的自注意网络。
3.如权利要求1所述的一种基于语义偏好挖掘的行人再辨识方法,其特征在于,所述交叉熵损失优化步骤中,使用全连接层与概率分布转化函数处理经过特征聚合后的检索特征,并利用交叉熵计算并输出身份的交叉熵损失:e=CrossEntropy(Softmax(FC(v)),T);
其中,e为身份的交叉熵损失;检索特征v首先受到全连接层FC处理,将特征通道数调整至与训练集中的身份类别数量一致,再经过概率分布转化函数Softmax处理,将特征值映射为身份后验概率,最后由交叉熵CrossEntropy计算身份后验概率与身份标签T之间的交叉熵损失值。
4.如权利要求1所述的一种基于语义偏好挖掘的行人再辨识方法,其特征在于,使用训练好的所述基于语义偏好挖掘的行人再辨识模型对查询图像与注册图像进行特征提取,基于所述偏好挖掘步骤的特征聚合后的所述检索特征,利用欧式距离计算查询图像与注册图像的距离,距离更近的注册图像即为与查询图像相似的注册图像,作为所述基于语义偏好挖掘的行人再辨识模型识别的结果。