1.一种利用相机风格分离域信息的跨域行人重识别方法,其特征在于:包括如下步骤:首先,提出域分离网络模型,将不同相机视角下的行人图像特征分解成含有相机风格的域信息和具有判别性的行人信息,通过将分离出来的图像域信息去除,利用行人信息进行行人重识别;
其次,引入了相机分类器,把源域和目标域的行人图像中分离出的域信息进行相机视角分类,以此区分行人图像来自哪一个相机视角,再将特征提取器和相机分类器进行对抗学习,确保神经网络的内部表示不包含关于输入源的信息,消除域间差异;
最后,通过域分离网络模型最后一层网络得到的行人信息进行损失约束并计算得到行人之间的相似性;
具体步骤如下:
步骤1,问题定义: 和 分别为源域和目标域内的
特征样本集合,s表示源域,t表示目标域,
n和m分别表示相机视角个数;
步骤2,域分离模型的建立:根据数据集中不同相机视角下的行人图像风格的不同,建立如下域信息分离模型:其中H表示图像高度,W表示图像宽度,fd表示域特征,f表示图像经网络ResNet‑50提取到的行人图像特征,将生成的特征向量fv通过两个全连接层,其中第一层全连接降维得到特征向量 其中u等于16,第二层全连接升维至1×1×C,C表示通道数,通过该操作拟合通道之间的复杂相关性,对不同通道的重要性进行预测,W1表示第一层全连接,ζ表示ReLU函数,W2表示第二层全连接,δ表示sigmoid函数,⊙表示按位相乘,scale表示按通道对特征向量扩展到与原特征图相同大小的张量的操作,通过域分离网络建立起特征通道之间相互依赖的关系,以学习的方式来自动获取到每个特征通道的重要程度,然后依照这个重要程度去提升有用的特征即行人特征并抑制域特征;
步骤3,训练时,将源域和目标域的行人图像输入到特征提取器G,提取到图像的行人特征后输入相机分类器D中,使之能够区分图像来自源域相机视角还是目标域相机视角;
其中 和 分别表示源域样本和目标域样本,NS和NT表示一个批次的源域样本和目标S S域样本,qS表示源域相机标签,qT表示目标域相机标签,fd 表示源域图像域特征,fx表示源T T域图像行人特征,fd表示目标域图像域特征,fx表示目标域图像行人特征;
步骤4,训练特征提取器G提取到的行人特征输入到相机分类器D中,使之不能够区分该行人图像来自源域相机视角还是目标域相机视角,从而分到其它类中,提取到图像域不变特征;
其中qother表示不属于源域相机类和目标域相机类的其它类别;
步骤5,L(G)用来训练特征提取器G提取域不变的图像特征,L(D)训练相机分类器,区分图像来自源域还是目标域,提高域分辨能力,L(G)和L(D)交替训练,使特征提取器G能够提取到域不变的特征;
步骤6,将提取到的行人特征向量作交叉熵损失,预测输出图像的行人ID由于预测分类的类别是由行人ID数决定,将该损失函数称为ID损失,其中N表示行人图像数,y表示图像正确的类,i表示多类中的某一类,pi表示预测ID标签,qi表示真实ID标签,为防止模型训练行人数据ID过拟合;
其中σ设为0.1。