1.一种融入位置感知注意力的行人重识别方法,其特征在于,包括将原始图片经过ResNet50网络前两层得到的输出特征图输入到位置感知注意力模块中进行处理和将位置感知注意力模块融入到ResNet50网络中进行训练和测试;
所述的将原始图片经过ResNet50网络前两层得到的输出特征图输入到位置感知注意力模块中进行处理包括:S1:获取输入特征图,通过卷积滤波器提取出三个不同的特征图,对其中两个特征图进行池化操作得到特征图φ和特征图g,特征图θ保持不变;然后将上述三维特征图θ、φ、g分别按通道维度展平拉直为二维特征矩阵,对三维特征图θ和g对应的二维特征矩阵进行转置得到二维特征矩阵θ和g,二维特征矩阵φ保持不变;
S2:基于位置感知编码特征图中不同位置的特征,构建二维位置编码矩阵PE;将所述二维特征矩阵θ与二维特征矩阵φ相乘,获得特征和特征之间的关系矩阵Rθ,φ;将二维位置编码矩阵PE与所述二维特征矩阵θ相乘,获得特征与位置之间关系矩阵Rθ,PE;
S3:将S2中所述两个关系矩阵Rθ,φ和Rθ,PE相加实现位置信息嵌入,经过归一化指数函数,得到含位置信息的归一化自相关权重系数矩阵fc=Softmax(Rθ,PE+Rθ,φ);
S4:将所述含位置信息的归一化自相关权重系数矩阵fc与代表特征图的二维特征矩阵g相乘,获得二维空间位置关键信息矩阵,再将其按通道还原为三维空间位置关键信息特征图,并使用卷积滤波器升维,最后使用类似残差结构,将输入和升维后的三维空间位置关键信息特征图相加得到位置感知注意力模块的输出;
所述的将位置感知注意力模块融入到ResNet50网络中进行训练和测试包括:
S5:将位置感知注意力模块插入到ResNet50网络第二层的输出位置,采用交叉熵和三元组损失函数加权形式作为总损失函数随着网络一起训练,输入测试图片获得行人匹配识别结果。
2.根据权利要求1所述的方法,其特征在于,步骤S1具体包括:
S1.1将输入特征图X∈Rb×c×h×w分别通过三个具有不同权重系数且输出通道数为输入通道数的1×1卷积滤波器,获得三个不同的特征图,分别记为θ、φ、g,其中b、c、h、w、r分别为每批次图片的张数、通道数、高、宽、通道数降维因子;
S1.2从三个不同特征图中选取特征图φ和g进行池化操作,得到特征图和特征图无池化操作的特征图记为S1.3将上述三个特征图按通道维度展平拉直为二维特征矩阵,并对三维特征图θ和g对应的二维特征矩阵进行转置得到二维特征矩阵和二维特征矩阵二维特征矩阵保持不变。
3.根据权利要求1所述的方法,其特征在于,步骤S2包括:
S2.1对不同的位置随机初始化不同的位置嵌入向量每个位置嵌入向量的初始化值从均值为0,方差为1的正态分布中随机取值,所有的位置嵌入向量按行排开构成二维位置编码矩阵PE中所有参数随着训练过程更新;
S2.2将代表两张不同特征图的二维特征矩阵与相乘得到特征间的关系矩阵Rθ,φ=θ×φ,其中S2.3将所述的二维特征矩阵与二维位置编码矩阵相乘得到特征与位置间的关系矩阵Rθ,PE=θ×PE,其中
4.根据权利要求1所述的方法,其特征在于,步骤S3包括:
S3.1将特征间的关系矩阵Rθ,φ和特征与位置间的关系矩阵Rθ,PE相加,实现位置信息的嵌入,得到含位置信息的自相关权重系数矩阵此时中包含了特征图中子特征间的位置关系;
S3.2将含位置信息的自相关权重系数矩阵f经过归一化指数函数,得到含位置信息的归一化自相关权重系数矩阵fc=Softmax(Rθ,PE+Rθ,φ),其中
5.根据权利要求1所述的方法,其特征在于,步骤S4具体包括:
S4.1将所述含位置信息的归一化自相关权重系数矩阵fc与代表特征图的二维特征矩阵相乘,得到二维空间位置关键信息矩阵gf=fc×g,其中S4.2将二维空间位置关键信息矩阵转置后按通道还原为三维空间位置关键信息特征图使用1×1卷积滤波器升维,使之与输入特征图的通道数维度相同,输出记为gfc∈Rb×c×h×w;
S4.3将输入特征图X∈Rb×c×h×w和升维后的三维空间位置关键信息特征图gfc∈Rb×c×h×w相加,得到位置感知注意力模块的输出Y=X+gfc,其中Y∈Rb×c×h×w。