1.一种基于样本中心损失函数的跨模态行人重识别方法,其特征在于,具体步骤包括:步骤S1,对跨模态行人重识别的训练数据集进行数据增强;
步骤S2,对训练数据集进行批采样,构建多个批次的训练数据;
步骤S3,构建具有模态特异结构的深度特征提取模型;
步骤S4,在所述深度特征提取模型后设置全局平均池化层,输出得到第一阶段特征;
步骤S5,设置样本中心损失函数,对第一阶段特征计算样本中心损失;
步骤S6,在所述全局平均池化层后设置批归一化层,对第一阶段特征进行归一化操作,得到第二阶段特征;
步骤S7,在所述批归一化层后设置全连接层作为行人身份分类器,对第二阶段特征进行身份分类;并使用交叉熵损失作为身份分类的损失函数,为分类结果计算身份分类损失;
步骤S8,结合所述样本中心损失函数和身份分类损失函数构建整体损失函数,对所述深度特征提取模型、全局平均池化层、批归一化层和全连接层组成的跨模态行人重识别网络进行优化训练;
步骤S9,使用训练好的跨模态行人重识别网络,对可见光(红外)目标行人图像和图像库中的红外(可见光)行人图像进行特征提取,对提取的特征进行距离度量与排序,得到跨模态的匹配行人图像;
所述步骤S2中对训练数据集进行批采样的方法为:从训练数据集的行人中随机采样P个人,然后对每个人随机采样K张可见光图像和K张红外图像,生成训练批次的批量大小为N=2*P*K;
所述步骤S3中,构建具有模态特异结构的深度特征提取模型的方法为:使用深度模型ResNet‑50作为基础结构;该模型主要包含5个卷积块,为构建模态特异结构,将前n(n∈[1,5])个卷积块设置为双路的,分别接收可见光和红外模态的图像样本;
所述步骤S5中对第一阶段特征计算样本中心损失,具体包含以下三个步骤:步骤S51,为当前批次训练样本中的每个行人类别y计算中心特征cy;
步骤S52,基于中心特征计算样本中心距离损失;
步骤S53,基于中心特征计算样本中心三元组损失;
所述步骤S51中,中心特征的计算公式为:
其中,2K是当前批次中第y类行人的可见光和红外图像样本的总量,vj和tj分别表示第y类行人的第j张可见光图像样本和第j张红外图像样本的第一阶段特征;
所述步骤S52中样本中心距离损失的表达式为
其中,N为批量大小;xi为当前批次中第i个样本的第一阶段特征,其行人类别为yi;cyi为第yi类行人的中心特征;D( )为距离函数;
所述步骤S53中样本中心三元组损失的表达式为其中,N为批量大小;xi为当前批次中第i个样本的第一阶段特征,其行人类别为yi;cyi为第yi类行人的中心特征;cyk为第yk(yi≠yk)类行人的中心特征;D( )为距离函数;
所述步骤S6中身份分类损失函数的表达式为:
其中yi为当前批次中第i张图像样本的真实类别标签,p(yi)为对当前批次中第i张图像的第二阶段特征进行身份分类的概率结果;
所述步骤S8中整体损失函数的表达式为
L=λ1LID+λ2LSCD+λ3LSCT
其中,λ1,λ2和λ3为可调节的权重参数。