欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2023104363179
申请人: 山东交通学院
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-01-05
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.基于跨上下文和特征响应注意力机制的车辆重识别方法,其特征在于,包括:步骤1、将车辆图像作为输入,采用Resnet50作为骨干网络,res_conv4_1之后的部分被划分为三个独立的分支;三个分支分别是:全局分支Global Branch、两个局部分支Part_1 Branch和Part_2 Branch;

步骤2、在Global Branch分支的res_conv5层后添加通道注意力模块,通道注意力模块分别基于通道间的成对关系以及两种不同的压缩方式构建上下文信息和特征响应;再使用

1D卷积对区域内的上下文和特征响应进行混合,同时编码全局信息和局部信息,获取通道间的长距离依赖和鉴别性特征;

步骤3、对于Part_1 Branch和Part_2 Branch,res_conv5层的输出被输入到空间注意力模块中;空间注意力模块利用位置间的自相关性获取上下文信息,在空间方向上捕获长距离依赖关系,同样以两种不同的挤压方式得到特征响应来确保每个空间位置的自身信息的整合,再以卷积的方式高效混合上下文和特征响应以获取局部关系,实现车辆重识别。

2.根据权利要求1所述的基于跨上下文和特征响应注意力机制的车辆重识别方法,其特征在于,针对于两个局部分支,将输出特征图水平划分为两个部分来进一步提取细粒度特征,具体的,包括:在每个分支上应用全局平均池化操作,得到维数为2048的特征向量;

使用包括1*1卷积、BN层和ReLU激活函数将维数减少至256;

将得到的256维的特征向量用于三元组损失的训练中,然后将256维的特征向量输入到全连接层中用于交叉熵损失的训练;

在两个局部分支的空间模块中添加非相似性约束。

3.根据权利要求1所述的基于跨上下文和特征响应注意力机制的车辆重识别方法,其特征在于,所述通道注意力模块的结构为:以res_conv5层的输出特征图  作为通道注意力模块的输入,其中 、和 分别指特征图的通道数、高度和宽度;

输入特征图 经过变形得到一个尺寸为 的矩阵 ,同时 通过分组卷积并变形得到一个尺寸为 的矩阵 ;将分组数为 的分组卷积作用于输入特征图,并在分组卷积的过程中将特征图的输出通道的大小缩减至 ;

矩阵 和矩阵 过矩阵乘法运算和、 激活函数得到通道上下文关系矩阵 ; 函数使得矩阵 中代表了某通道与其他各个通道成对依赖关系的每列元素相加都等于1; 的计算公式表示为:,

其中, 代表矩阵相乘运算符;

在行方向上并行不同的挤压操作,分别利用平均池化和最大池化生成基于通道成对关系的统计性信息和显著性信息,进而得到两个不同含义的全局上下文描述符,记为和 ,,

对输入特征图 实施池化操作将空间信息嵌入到通道中进行编码并推断出更精细的通道注意力;通过跨空间维度聚合特征图产生通道统计性特征响应描述符和通道显著性特征响应描述符,记为 和 ,,

将这四个代表不同意义的通道描述符堆叠起来,使其输入到一个由卷积核大小为3*3的1D卷积和 激活层组成的嵌入函数 中并变形得到输出向量 :,

其中 代表堆叠后的描述符集合,表示为 ; 表示卷积核为3*3的1D卷积;

将 的输出向量 与原始输入特征图进行元素点乘,添加到原始特征图中,即进行残差操作得到特征图 ;对 依次进行批量归一化和GELU激活函数操作,得到最终输出特征图 :,

,

其中, 为点乘操作。

4.根据权利要求1所述的基于跨上下文和特征响应注意力机制的车辆重识别方法,其特征在于,所述空间注意力模块的结构为:以res_conv5层的输出特征图作为输入 ,其中 是特征图的通道数, 和分别为特征图的高度和宽度;特征图 经过变形得到尺寸为 的矩阵 ,同时 通过深度卷积并变形得到尺寸为 的矩阵 ;具体的,使用卷积核尺寸为 、步幅为 的深度卷积来缩小矩阵 的空间大小;

矩阵 和 经过矩阵乘法运算和 函数得到空间上下文关系矩阵 ;

经过 函数后,矩阵 列方向上的和为1; 的计算公式为:,

使用行方向的平均池化和最大池化操作聚合矩阵 的位置上下文信息,生成两个不同的全局上下文描述向量,即基于位置关系的空间统计性上下文描述向量和空间显著性上下文描述向量: 和 ;

和 经过变形得到空间上下文描述符 以及 ,两者分别表示平均池化特征和最大池化特征;

,

对输入特征图 分别进行平均池化和最大池化操作获取统计性特征响应和显著性特征响应;通过跨通道维度聚合特征图产生空间统计性特征响应描述符和空间显著性特征响应描述符 和 ,,

得到四个不同类型的空间描述符,将在通道方向上拼接起来的空间描述符表示为;

采用一个由 函数和2D卷积组成的嵌入函数 来混合某一位置的区域内的跨上下文和特征响应,同时学习全局表示和局部表示;得到空间注意力图 ,,其中, 代表2D卷积;

将注意力图 与原始输入特征图进行元素点乘和残差操作得到特征图 ;

依次施加批量归一化和GELU激活函数操作得到最终输出特征图 ,,

。

5.根据权利要求2所述的基于跨上下文和特征响应注意力机制的车辆重识别方法,其特征在于,利用交叉熵损失对不同类别的样本进行分类,其中,标准交叉熵损失函数的表述为:,

其中, 代表训练集中类的个数, 是图像的真实身份标签, 是输入图像属于类 的预测概率, 是目标概率。

6.根据权利要求2所述的基于跨上下文和特征响应注意力机制的车辆重识别方法,其特征在于,将三元组损失作为进行度量学习的损失函数,在训练集中随机选择 个标识和个小批次的图像,该损失函数用公式可表示为:,

其中, 分别代表从锚点、正样本和负样本中提取的特征; 为边缘超参数; 代表的是 ; 是欧式距离。

7.根据权利要求6所述的基于跨上下文和特征响应注意力机制的车辆重识别方法,其特征在于,总损失的计算是交叉熵损失与三元组损失的和:,

其中 和 为平衡两个损失项的超参数。

8.根据权利要求1所述的基于跨上下文和特征响应注意力机制的车辆重识别方法,其特征在于,分别在两个分支的空间注意力模块中添加非相似约束,公式表示如下:,

其中,代表空间注意力模块输出的空间注意力图, 函数建立了两个空间注意力图相同位置间响应的竞争。