1.一种基于样本间上下文指导网络的车辆重识别方法,其特征在于,包括:步骤1、将车辆图像作为输入,将ResNet50网络的res_conv4_1块之前的残差层作为样本间上下文指导网络的骨干网络,在res_conv4_1块之后,ResNet50的后续部分被划分为三个独立的分支:Part‑1、Global_Spatial、Global_Channel,来提取多样化的特征;
步骤2、在Global_Spatial、Global_Channel分支的res_conv5层之后分别追加一个带有注意力监督约束的样本间上下文指导的空间注意力模块、样本间上下文指导的通道注意力模块,从空间维度和通道维度学习与车辆身份相关的鉴别性的主体语义信息和鉴别性的细粒度信息,从而实现车辆重识别;
所述样本间上下文指导的空间注意力模块,结构为:H×W×C
设样本的特征图X∈R 为空间模块的输入张量,其中H、W、C分别表示张量的高度、宽度和通道数;为了细化局部特征的表示,将张量X沿空间维度划分为多个规则的非重叠窗i口,每个窗口X的维度为h×w×C,窗口的总数为P=N/hw,其中i=1,2,...,P,N=HW,h和w分别代表窗口的高度和宽度;在每个窗口内独立实施自注意力计算来捕获局部空间上下i文;对于第i个窗口,首先通过三个参数不共享的1×1卷积层对X进行线性变换并变形为位i hw×C i hw×C i hw×C置查询矩阵Q ∈R ,位置键矩阵K ∈R ,位置值矩阵V ∈R ,这三个矩阵中的第m行分别是窗口中位置m的查询向量、键向量和值向量;位置m和n之间的亲和性计算为:
其中,·表示向量的内积, 度量了窗口的特征图中位置m和n的特征表示之间的相似性;
i hw×hw i i
表示所有位置间的成对亲和性的矩阵A∈R 通过将矩阵Q 和K的转置相乘,并对结果执行softmax操作来得到:i
其中,表示矩阵乘法,A的每一行中的元素之和为1;然后,用位置间的亲和性加权求和所有位置的特征来精细化位置的特征表示,位置m处的精细化过程表示为:其中,m=1,2,...,hw;窗口中所有位置的细化定义为:引入一个大小为C×M的空间方面的样本间上下文存储器Y,一个样本与存储器Y的交互的公式如下:i hw×M i
其中,B∈R ,矩阵B的第i行表示窗口的特征图中的第i个位置与样本间的上下文信息的亲和性;将矩阵的形状压缩为hw×1,并使用一个L1_Norm函数来得到样本间上下文指i导的窗口空间注意力图T,公式如下:
i i
T=L1_Norm(Avg(B)),
i
其中,Avg表示沿通道方向的平均池化;矩阵T中的值反应了相应位置对辨别样本的身份的重要性;
i
在得到每个窗口的空间注意力图T 后,将它们的形状都重塑为h×w;然后合并所有的窗H×W×C口空间注意力图,并实施跨窗口交互操作得到样本的空间注意力图T∈R :将T广播为与输入特征图X相同的形状后,再与X逐元素相乘和相加,得到样本间上下文H×W×C指导的空间注意力模块的输出特征图S∈R ,该过程表示为:其中,⊙表示矩阵点乘, 表示矩阵加法;
所述样本间上下文指导的通道注意力模块,结构为:H×W×C g H×W×(C/G)
沿通道方向将输入特征图X∈R 均匀地划分为多个子特征图X ∈R ,g=1,
2,…,G,其中,H、W、C分别表示特征图的高度、宽度和通道数,G表示分组数;每个组的自身局g部通道上下文是通过独立执行自注意力计算来捕获到的;将X重塑为二维张量后送入到三g (C/G)×N个线性投影层中,再经过转置操作得到三个形状相同的矩阵:通道查询矩阵Q ∈R 、通g (C/G)×N g (C/G)×N道键矩阵K∈R 和通道值矩阵V∈R ,其中N=H×W;第g个组中通道m和n之间的亲和性 的计算过程被表示为:g g
其中,矩阵Q中的第m行 矩阵K 中的第n行 分别表示第g个组中通道m和n的查询向量、键向量; 度量了通道m和n在图像的所有区域上提取的特征间的相似性;通过把查g g询矩阵Q 和键矩阵K的转置相乘并执行softmax操作,得到第g个组的表示所有通道间的成g (C/G)×(C/G)对亲和性的矩阵A∈R :
g
其中,A的每一行中的元素之和为1;通道m的精细化过程表示为:g
其中,m=1,2,...,C/G, 是矩阵V中的第j行,表示第g个通道组中通道j的值向量;第g个组中所有通道的细化定义为:引入一个形状为K×M的通道方面的样本间上下文存储器I;将一个样本内每一个通道g的邻域信息投影到存储器I上来实现这个样本与I的交互;首先,将矩阵D沿着第0个轴压缩g C/G g得到向量d∈R ,然后通过一个unflod操作提取d中每一个元素的K个邻居的信息,形成矩g (C/G)×K阵U∈R :
g g g
U=unflod(d)=unflod(Avg(D)),g
其中,Avg表示行方向上的平均池化,U中的第i行为第i个通道的K个邻居的信息;一个样本与存储器I的交互用公式表示为:g (C/G)×M g
其中,B ∈R ;矩阵B的第i行表示第g个组中第i个通道与样本间上下文信息的亲和性;对矩阵进行压缩并使用一个L1_Norm函数来得到样本间上下文指导的组内通道注意g C/G力图T∈R ,公式如下:
g g
T=L1_Norm(Avg(B)),
g
其中,Avg表示沿列方向的平均池化,T 中的值表示了每个通道对辨别样本身份的重要性;
g
在得到每个组的通道注意力图T后,将它们连接起来并实施跨组交互得到样本的通道C注意力图T∈R:
1 2 G
T=softmax(connect(T,T,...,T));
g
最后,将T的形状广播为H×W×(C/G)与子特征图X 逐元素相乘后,再与输入特征图X逐H×W×C元素相加,得到样本间上下文指导的通道注意力模块的输出特征图S∈R ,该过程表示为:
2.根据权利要求1所述的基于样本间上下文指导网络的车辆重识别方法,其特征在于,所述Part‑1分支的res_conv5层输出的特征图沿水平方向刚性地划分为两部分,每个分支均采用全局平均池化操作和降维操作来学习紧凑的特征表示。
3.根据权利要求2所述的基于样本间上下文指导网络的车辆重识别方法,其特征在于,所述全局平均池化操作将Part‑1分支的两个局部特征图和Global_Spatial分支、Global_Channel分支的最终输出的特征图压缩为2048维的特征向量;降维操作将2048维的特征向量降维到256维;网络训练阶段,在每个256维特征向量上应用一个三元组损失,并使用全连接层把特征向量的维数转换为车辆的数目用于计算交叉熵损失;在网络的测试阶段,三个分支输出的四个256维的特征向量被连接起来作为最终的特征嵌入。
4.根据权利要求1所述的基于样本间上下文指导网络的车辆重识别方法,其特征在于,采用两种损失函数,分别是交叉熵损失函数和三元组损失函数,还采用了注意力监督约束来进一步提高车辆重识别的准确率。
5.根据权利要求4所述的基于样本间上下文指导网络的车辆重识别方法,其特征在于,从训练数据集中随机选取P个身份和K个实例组成一个批量,三元组损失函数的公式如下:其中, 表示从锚点提取的特征, 表示从正样本中提取的特征, 表示从负样本中提取的特征,α是margin参数,[·]+代表的是max(·,0)。
6.根据权利要求4所述的基于样本间上下文指导网络的车辆重识别方法,其特征在于,所述交叉熵损失函数为:其中,D是训练集中车辆的类别数,x是输入到网络中车辆图像的真实身份标签,Pm表示第m类的ID预测概率。
7.根据权利要求4所述的基于样本间上下文指导网络的车辆重识别方法,其特征在于,所述注意力监督约束定义如下:LASC=ASC(x)=exp(p′(x)‑p(x)),其中,p′(x)和p(x)分别表示不使用注意力模块和使用注意力模块时网络关于输入图像x的真实标签的预测概率。
8.根据权利要求4‑7任一项所述的基于样本间上下文指导网络的车辆重识别方法,其特征在于,所述样本间上下文指导网络总的损失计算公式如下:Ltotal=Ltriplet+Lid+LASC,其中,Ltriplet为三元组损失函数,Lid为交叉熵损失函数,LASC为注意力监督约束。