1.基于跨上下文和特征响应注意力机制的车辆重识别方法,其特征在于,包括:步骤1、将车辆图像作为输入,采用Resnet50作为骨干网络,res_conv4_1之后的部分被划分为三个独立的分支;三个分支分别是:全局分支Global Branch、两个局部分支Part_
1Branch和Part_2Branch;
步骤2、在Global Branch分支的res_conv5层后添加通道注意力模块,通道注意力模块分别基于通道间的成对关系以及两种不同的压缩方式构建上下文信息和特征响应;再使用
1D卷积对区域内的上下文和特征响应进行混合,同时编码全局信息和局部信息,获取通道间的长距离依赖和鉴别性特征;
步骤3、对于Part_1Branch和Part_2Branch,res_conv5层的输出被输入到空间注意力模块中;空间注意力模块利用位置间的自相关性获取上下文信息,在空间方向上捕获长距离依赖关系,同样以两种不同的挤压方式得到特征响应来确保每个空间位置的自身信息的整合,再以卷积的方式高效混合上下文和特征响应以获取局部关系,实现车辆重识别;
所述通道注意力模块的结构为:
C×H×W
以res_conv5层的输出特征图F∈R 作为通道注意力模块的输入,其中C、H和W分别指特征图的通道数、高度和宽度;
输入特征图F经过变形得到一个尺寸为C×(H*W)的矩阵Q,同时F通过分组卷积并变形得到一个尺寸为C/α×(H*W)的矩阵K;将分组数为G的分组卷积作用于输入特征图,并在分组卷积的过程中将特征图的输出通道的大小缩减至C/α;
T C
矩阵Q和矩阵K 过矩阵乘法运算和、soft max激活函数得到通道上下文关系矩阵X∈R×(C/α);soft max函数使得矩阵X中代表了某通道与其他各个通道成对依赖关系的每列元素相加都等于1;X的计算公式表示为:其中, 代表矩阵相乘运算符;
在行方向上并行不同的挤压操作,分别利用平均池化和最大池化生成基于通道成对关C系的统计性信息和显著性信息,进而得到两个不同含义的全局上下文描述符,记为favg∈R×1 C×1和fmax∈R ,
favg=Avgpool(X),fmax=Maxpool(X),对输入特征图F实施池化操作将空间信息嵌入到通道中进行编码并推断出更精细的通道注意力;通过跨空间维度聚合特征图产生通道统计性特征响应描述符和通道显著性特征C×1 C×1响应描述符,记为f′avg∈R 和f′max∈R ,f′avg=Avgpool(F),f′max=Maxpool(F),将这四个代表不同意义的通道描述符堆叠起来,使其输入到一个由卷积核大小为3*3C×1的1D卷积和sigmoid激活层组成的嵌入函数Φ(x)中并变形得到输出向量f∈R :f=sigmoid(1Dconv(fc)),C×4
其中fc∈R 代表堆叠后的描述符集合,表示为fc={favg,fmax,favg,fmax};1Dconv表示卷积核为3*3的1D卷积;
将Φ(x)的输出向量f与原始输入特征图进行元素点乘,添加到原始特征图中,即进行C×H×W残差操作得到特征图I∈R ;对I依次进行批量归一化和GELU激活函数操作,得到最终输C×H×W出特征图Y∈R :
I=f⊙F+F,
Y=GELU(BN(I)),
其中,⊙为点乘操作;
所述空间注意力模块的结构为:
C×H×W
以res_conv5层的输出特征图作为输入F∈R ,其中C是特征图的通道数,H和W分别为特征图的高度和宽度;特征图F经过变形得到尺寸为(H*W)×C的矩阵Z,同时F通过深度卷积并变形得到尺寸为(H*W)/β×C的矩阵U;具体的,使用卷积核尺寸为S×S、步幅为S的深度卷积来缩小矩阵U的空间大小;
(H
矩阵Z和U经过矩阵乘法运算和soft max函数得到空间上下文关系矩阵P∈R*W)×(H*W)/β;经过soft max函数后,矩阵P列方向上的和为1;P的计算公式为:使用行方向的平均池化和最大池化操作聚合矩阵P的位置上下文信息,生成两个不同的全局上下文描述向量,即基于位置关系的空间统计性上下文描述向量和空间显著性上下(H*W)×1 (H*W)×1文描述向量:lavg∈R 和lmax∈R ;
H×W H×W
lavg和lmax经过变形得到空间上下文描述符Lavg∈R 以及Lmax∈R ,两者分别表示平均池化特征和最大池化特征;
Lavg=reshape(Avgpool(P)),Lmax=reshape(Maxpool(P)),对输入特征图F分别进行平均池化和最大池化操作获取统计性特征响应和显著性特征响应;通过跨通道维度聚合特征图产生空间统计性特征响应描述符和空间显著性特征响应H×W H×W描述符L′avg∈R 和L′max∈R ,L′avg=Avgpool(F),Lmax=Maxpool(F),得到四个不同类型的空间描述符,将在通道方向上拼接起来的空间描述符表示为LS=
4×H×W
{Lavg,Lmax,L′avg,L′max},LS∈ ;
采用一个由sigmoid函数和2D卷积组成的嵌入函数η(p)来混合某一位置的区域内的跨
1×H×W
上下文和特征响应,同时学习全局表示和局部表示;得到空间注意力图L∈ ,L=sigmoid(conv(LS)),其中,conv代表2D卷积;
C×H×W
将注意力图L与原始输入特征图进行元素点乘和残差操作得到特征图J∈R ;依次C×H×W施加批量归一化和GELU激活函数操作得到最终输出特征图T∈R ,J=L⊙F+F,
T=GELU(BN(J))。
2.根据权利要求1所述的基于跨上下文和特征响应注意力机制的车辆重识别方法,其特征在于,针对于两个局部分支,将输出特征图水平划分为两个部分来进一步提取细粒度特征,具体的,包括:在每个分支上应用全局平均池化操作,得到维数为2048的特征向量;
使用包括1*1卷积、BN层和ReLU激活函数将维数减少至256;
将得到的256维的特征向量用于三元组损失的训练中,然后将256维的特征向量输入到全连接层中用于交叉熵损失的训练;
在两个局部分支的空间模块中添加非相似性约束。
3.根据权利要求2所述的基于跨上下文和特征响应注意力机制的车辆重识别方法,其特征在于,利用交叉熵损失对不同类别的样本进行分类,其中,标准交叉熵损失函数的表述为:其中,N代表训练集中类的个数,y是图像的真实身份标签,pi是输入图像属于类i的预测概率,qi是目标概率。
4.根据权利要求2所述的基于跨上下文和特征响应注意力机制的车辆重识别方法,其特征在于,将三元组损失作为进行度量学习的损失函数,在训练集中随机选择P个标识和K个小批次的图像,该损失函数用公式可表示为:其中, 分别代表从锚点、正样本和负样本中提取的特征;α为边缘超参数;[.]+代表的是max(·,0);||·||2是欧式距离。
5.根据权利要求4所述的基于跨上下文和特征响应注意力机制的车辆重识别方法,其特征在于,总损失的计算是交叉熵损失与三元组损失的和:其中η和ω为平衡两个损失项的超参数。
6.根据权利要求1所述的基于跨上下文和特征响应注意力机制的车辆重识别方法,其特征在于,分别在两个分支的空间注意力模块中添加非相似约束,公式表示如下:L′=softmax(L),
其中,L代表空间注意力模块输出的空间注意力图,softmax函数建立了两个空间注意力图相同位置间响应的竞争。