1.一种基于三阶段的跨域行人重识别方法,其特征是,包括:
域自适应学习:针对源域和目标域图像,利用域自适应网络进行处理,计算各项损失并更新域自适应网络参数;具体的,域自适应网络针对源域数据训练的交叉熵损失和三元组损失,跨数据集域自适应损失,跨目标域摄像头域自适应损失分别计算;
所述跨数据集域自适应损失为:
ldd=mmd(ds,dt);
上式中,ldd表示跨数据集域自适应损失,ds代表源域训练集数据的特征矩阵,dt表示目标域训练集数据的特征矩阵,mmd代表最大均值差异损失,用于域适应领域以减少来自不同领域的两个特征矩阵之间的差异;mmd为核学习方法,优化两个堆栈之间的平均距离在高维空间中实现数据域自适应的效果,通过优化ds和dt两个特征矩阵之间的mmd距离,达到数据集之间的域适应效果;
所述跨目标域摄像头域自适应损失为:
上式中,lcd表示跨目标域摄像头域自适应损失,c表示摄像头的ID,n代表目标域训练集的总摄像头数目,dt表示目标域训练集特征矩阵,dc表示摄像头c拍摄的行人图片特征矩阵,通过计算目标域训练集特征分布和特定摄像头下特征分布的mmd距离,使模型在目标域数据上学习到的特征具有跨镜头不变性;
自监督训练:对于目标域图像,使用域自适应网络提取目标域训练集特征,并对特征矩阵进行重排序;
对重排序特征矩阵进行聚类,赋予目标域训练集伪标签;
通过伪标签对域自适应网络进行有监督训练,计算难采样三元组损失并更新网络参数;
联合损失训练:构建联合损失训练网络,定义标签平滑正则化损失和难采样三元组损失;所述联合损失训练网络为:在数据集上预训练的Resnet‑50网络的基础上,去除最后一层1000维的全连接层,在全局平均池化层后添加1024维全连接层、Batch‑Normalization层、Relu层、Dropout层,在最后添加输出单元与伪标签类别数目一致的全连接层;
通过聚类获得的目标域数据伪标签,构建难采样三元组训练数据,具体操作为:针对每一个样本,在其正样本集中选取最不相似的样本作为正样本,在负样本集中选取最相似的样本作为负样本,从而构建每个样本的难样本集,使用难采样三元组损失对域自适应网络进行再训练;所述难采样三元组损失为:其中,P表示每个批次中选取的行人数量,K表示每个批次中每个行人的图像数量,因此每个批次中共包含P×K个样本,da,p表示样本a到样本p的欧式距离,da,n表示样本a到样本n的欧式距离,m表示超参,右下角加号代表该项损失不小于零,A、B分别表示样本a的正样本集和负样本集;
所述标签平滑正则化损失为:
其中,k表示当前类别,p(k)表示模型输出的Softmax概率,ε∈[0,1],y表示真实标签,Ks表示总类别数目;
对于目标域图像,输入联合损失训练网络,计算各项损失并更新联合损失训练网络参数,对待识别的图像数据,进行跨域行人重识别。
2.如权利要求1所述的一种基于三阶段的跨域行人重识别方法,其特征是,域自适应网络总损失中各个镜头拍摄下的图像的特征矩阵与总特征矩阵距离的加和,用来实现目标域跨镜头域自适应。
3.如权利要求1所述的一种基于三阶段的跨域行人重识别方法,其特征是,将源域和目标域图像尺寸统一修改一致,成批次的投入域自适应网络计算各项损失,并在加权求和后用于更新网络参数。
4.如权利要求1所述的一种基于三阶段的跨域行人重识别方法,其特征是,在获得域自适应网络后,使用该网络对目标域训练集数据进行特征提取,将提取的特征矩阵进行重排序操作,以提高特征矩阵的质量,使其包含样本间的交叉校验信息。
5.如权利要求1所述的一种基于三阶段的跨域行人重识别方法,其特征是,采用密度聚类方法DBSCAN对获得的重排序特征矩阵进行聚类运算,得到的聚类结果将作为目标域训练集数据的伪标签。
6.如权利要求1所述的一种基于三阶段的跨域行人重识别方法,其特征是,通过聚类获得的目标域数据伪标签,构建难采样三元组训练数据,使用难采样三元组损失对域自适应网络进行再训练;
提取特征并重排序、聚类赋伪标签、三元组损失训练三个步骤重复进行,直至域适应网络在目标域数据的测试精度不再提高为止。
7.一种基于三阶段的跨域行人重识别系统,其特征是,包括:
域自适应学习模块:针对源域和目标域图像,利用域自适应网络进行处理,计算各项损失并更新域自适应网络参数;具体的,域自适应网络针对源域数据训练的交叉熵损失和三元组损失,跨数据集域自适应损失,跨目标域摄像头域自适应损失分别计算;
所述跨数据集域自适应损失为:
ldd=mmd(ds,dt);
上式中,ldd表示跨数据集域自适应损失,ds代表源域训练集数据的特征矩阵,dt表示目标域训练集数据的特征矩阵,mmd代表最大均值差异损失,用于域适应领域以减少来自不同领域的两个特征矩阵之间的差异;mmd为核学习方法,优化两个堆栈之间的平均距离在高维空间中实现数据域自适应的效果,通过优化ds和dt两个特征矩阵之间的mmd距离,达到数据集之间的域适应效果;
所述跨目标域摄像头域自适应损失为:
上式中,lcd表示跨目标域摄像头域自适应损失,c表示摄像头的ID,n代表目标域训练集的总摄像头数目,dt表示目标域训练集特征矩阵,dc表示摄像头c拍摄的行人图片特征矩阵,通过计算目标域训练集特征分布和特定摄像头下特征分布的mmd距离,使模型在目标域数据上学习到的特征具有跨镜头不变性;
自监督训练模块:对于目标域图像,使用域自适应网络提取目标域训练集特征,并对特征矩阵进行重排序;
对重排序特征矩阵进行聚类,赋予目标域训练集伪标签;
通过伪标签对域自适应网络进行有监督训练,计算难采样三元组损失并更新网络参数;
联合损失训练模块:构建联合损失训练网络,定义标签平滑正则化损失和难采样三元组损失;所述联合损失训练网络为:在数据集上预训练的Resnet‑50网络的基础上,去除最后一层1000维的全连接层,在全局平均池化层后添加1024维全连接层、Batch‑Normalization层、Relu层、Dropout层,在最后添加输出单元与伪标签类别数目一致的全连接层;
通过聚类获得的目标域数据伪标签,构建难采样三元组训练数据,具体操作为:针对每一个样本,在其正样本集中选取最不相似的样本作为正样本,在负样本集中选取最相似的样本作为负样本,从而构建每个样本的难样本集,使用难采样三元组损失对域自适应网络进行再训练;所述难采样三元组损失为:其中,P表示每个批次中选取的行人数量,K表示每个批次中每个行人的图像数量,因此每个批次中共包含P×K个样本,da,p表示样本a到样本p的欧式距离,da,n表示样本a到样本n的欧式距离,m表示超参,右下角加号代表该项损失不小于零,A、B分别表示样本a的正样本集和负样本集;
所述标签平滑正则化损失为:
其中,k表示当前类别,p(k)表示模型输出的Softmax概率,ε∈[0,1],y表示真实标签,Ks表示总类别数目;
对于目标域图像,输入联合损失训练网络,计算各项损失并更新联合损失训练网络参数,对待识别的图像数据,进行跨域行人重识别。
8.一种计算机系统,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1‑6任一项所述的基于三阶段训练的跨域行人重识别方法。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1‑6任一项所述的基于三阶段训练的跨域行人重识别方法。