1.全局与显著性细粒度局部特征融合的行人重识别方法,其特征在于,所述方法由计算机执行,包括以下步骤:S1、构建网络框架,该网络由全局分支与局部分支组成;
S2、将给定行人图像输入到全局分支中提取全局特征,S2的具体实现过程如下:
S201、特征提取部分所用的主干网络是具有四个阶段的Resnet50,ResNet50架构有四个残差块,依次经过,产生的特征图的通道大小分为为256、512、1024和2048,我们依次设定为第一、二、三和四阶段,第4阶段(最后阶段)的卷积步长由2变为1,以保留更多图像细节,Resnet50在很多经典的网络架构中出现,已经得到广泛的认同和证明,故用Resnet50来对行人图像进行特征提取;
S202、给定人物图像,我们首先通过骨干网络提取特征图X∈RC×H×W,其中C表示通道维度,H表示高度,W表示宽度,我们采用多阶段式提取特征,逐阶段增强特征表示,最后一个阶段结束后,使用广义平均池化,再加入一个批量归一化操作,加快网络的收敛,该分支主要是为了提取行人的全局特征,未加入注意力模块,主要是让网络更加的轻量;
S3、将特征输入到局部分支中提取局部特征,S3的具体实现过程如下:
S301、该分支主要获取图像的局部信息;
S302、我们在骨干网的第四阶段后引入局部分支,一般从图像中提取的局部特征可以保留大量的局部信息,但它们对区域的细粒度信息关注不够,导致具有鉴别性的细粒度局部信息被忽略,影响最后的特征表示和人机识别的性能,根据这个问题,我们引入显著性细粒度局部分支,更好的提取局部信息,我们对输入的特征进行一个降维处理,首先卷积,使得特征变成512维,然后经过一个BN层,进行批量归一化操作,最后经过ReLU进行激活,经过这个降维处理得到一个512维的特征向量,然后采用水平切割方法提取行人更细粒度的局部特征,我们将降维处理得到的512维特征划分为四个相同大小的空间水平条纹,每个部分的维度是C×H/4×W,我们将其记为部分级特征g1、g2、g3、g4,将列向量分别经过注意力机制,对每个部分进行关注,得到显著性的细粒度局部信息,以区分相似的局部信息,然后将每个部分级张量经过GeM平均为一个向量,将平均后的张量进行连接,得到一个2048维的特征,然后进行全连接,仅产生一个ID预测损失,与传统的PCB方法不同,PCB采用多个ID预测损失,每个部分都有独立的ID预测损失,但使用多个ID损失可能会导致对具有某些部分级特征的行人产生错误预测;
S4、将注意力机制引入局部分支;
S5、所得到的特征经过GeM Pooling,然后再经过BN层;
S6、最后将得到的特征计算ID损失和三元组损失。
2.如权利要求1所述的全局与显著性细粒度局部特征融合的行人重识别方法,其特征在于,S1的具体实现过程如下:S101、构建一个由全局分支和局部分支两部分组成的框架;
S102、提取到的特征用于分类。
3.如权利要求1所述的全局与显著性细粒度局部特征融合的行人重识别方法,其特征在于,S4的具体实现过程如下:S401、引入注意力关注细粒度的局部特征;
S402、我们在局部分支引入注意力模块,这里我们直接使用SE模块,输入大小为C×H×W的特征图,首先对它进行一个全局平均池化,得到1×1×C大小的特征,然后通过一个全连接层,进行降维,接下来,经过ReLU进行激活,再经过一个全连接层,经过一个sigmoid层,得到通道权重,得到通道为不同权重的特征,使得重要的通道得到大的权重,而不重要的通道得到小的权重,最后将学习得到的权重应用于特征图中的每个通道,生成一个加权的特征图,总之,SE模块是一个通道上的注意力模块,可以看作是为每一个通道上的特征图自适应学习一个权值,给定特征图X,通道注意力Attention定义为:Attention=Sigmoid(W2ReLU(W1Poolavg(X))) (1)其中W1和W2代表两个全连接操作,Poolavg代表平均池化层,将通道注意力Attention,通过通道相乘的方式,应用于特征图X,将分割成的部分级特征g1、g2、g3、g4,代替原始特征图X,分别使用注意力,形成更显著的细粒度局部特征。
4.如权利要求1所述的全局与显著性细粒度局部特征融合的行人重识别方法,其特征在于,S5的具体实现过程如下:S501、为使网络更聚焦于有区分力的特征,在我们的网络中采用了GeM Pooling,其可以增强特征信息,更好地捕捉特征,提高特征表达的质量,现有的行人重识别研究中,广泛使用了全局平均池化和全局最大池化,但其无法捕获特定领域的判别特征,全局平均池化对特征图的平均值进行计算,会削弱最终表示的判别力,而全局最大池化只对每个特征图的最大值进行计算,可能导致其他激活信息丢失,我们采用了更有利于网络学习广义均值(GeM)池化,来代替全局平均池化和全局最大池化,该池化层,它以X作为输入并产生一个向量f作为池化过程的输出,其公式为:其中Pk是一个池化超参数,可以在反向传播过程中学习,当Pk→∞时近似于最大池化,当Pk=1时近似于平均池化,最终的特征向量由具有广义均值激活的每个特征图的单个值组成,其维数等于K,这使其成为紧凑的图像表示,在全局分支中,我们每个阶段后,使用GeM,将经过每个阶段的GeM特征进行叠加,得到更加紧凑的向量,该向量结合网络产生的分类特征向量,在训练阶段,输入到后面的ID损失中,此外,第四阶段后的特征经过广义平均池化(GeM Pooling),输入到三元组损失,在局部分支中,我们在经过注意力后,也使用了GeM,以更好的捕获局部特征;
S502、将得到的特征经过BN层,即批量归一化,解决在训练过程中,中间层数据分布发生改变的问题,以防止梯度消失或爆炸、防止过拟合以及加快收敛速度。
5.如权利要求1所述的全局与显著性细粒度局部特征融合的行人重识别方法,其特征在于,S6的具体实现过程如下:S601、整个网络的损失由ID损失和三元组损失组成,我们将每个ID视为一个不同的类别,ID损失可以得到图像的ID预测,它类似于分类损失,ID损失定义为:其中y和pi分别表示真实的ID标签和第i类的预测分数,N表示类数,qi表示平滑标签,ε为标签平滑参数,其设置为0.1,此外,为了结合行人重识别的特性,便于从图库中找到与目标图最为相似的人,在训练中引入三元组损失,其有利于增加类间距离并减少类内距离,计算三元组损失,三元组使得类间距离小于类内距离,公式如下:Ltri=[dpos-dneg+m]+ (4)
其中,dpos和dneg分别定义正样本对和负样本对的距离,[·]+表示max(0,x),m表示正样本与锚样本相似度的差值边界,其值设为0.3,总的损失L为:L=Lid+Ltri (5)
S602、因为网络模型的训练过程是一个不断优化损失的过程,将当前获得的损失反馈到网络模型中,进行不断迭代优化,以降低损失,从而获得更鲁棒的特征。