1.一种基于注意力机制的轻量级多分支行人重识别方法,其特征在于,包括以下步骤:
将包含行人的图像输入到训练好的神经网络模型中,神经网络模型按照输入的图像输出预测结果,得到并输出MAP和Rank‑1正确率,并对结果进行可视化;
所述训练好的神经网络模型采用以下方式获取:
获取带有行人的图片集合作为数据集,对数据集进行预处理;
将预处理后的数据集输入到改进的轻量级网络中,先构建全局特征支路,通过全局特征支路的轻量级模块对预处理后的数据集进行全局特征提取,得到全局特征和全局分支损失;
将全局特征分享到局部分支中,构建局部分支,并通过局部分支的轻量级模块进行局部特征提取,得到局部特征和局部分支损失;
联合全局分支损失和局部分支损失进行交叉熵损失求解,并将损失之和回传给神经网络进行迭代训练,直至神经网络的总损失趋于稳定时,训练完成,得到训练好的神经网络模型,训练好的神经网络模型中包括全部CNN架构及训练的全部参数;
所述全局特征支路由一个预处理基本卷积块、第一特征提取模块、第二特征提取模块和第三特征提取模块串联而成;
对于任意一个特征提取模块,包含一个Inception‑A模块、一个Inception‑B模块和一个HA模块,且Inception‑A模块、Inception‑B模块和HA模块依次串联,其中,第一特征提取模块由串联的第一Inception‑A模块、第一Inception‑B模块和第一HA模块组成,第二特征提取模块由串联的第二Inception‑A模块、第二Inception‑B模块和第二HA模块组成,第三特征提取模块由串联的第三Inception‑A模块、第三Inception‑B模块和第三HA模块组成,Inception‑A模块、Inception‑B模块用于提取特征,HA模块由软注意力模块和硬注意力模块组成,HA模块用于融合硬注意力和软注意力;
一个inception‑A模块内部包括一个基本卷积模块、3条轻量级卷积块支路和一个聚合模块,所述基本卷积模块核为3×3、通道数为32、步长为2,用于提取输入inception‑A模块的图像特征;3条轻量级卷积块支路分别是第一轻量级卷积块支路、第二轻量级卷积块支路和第三轻量级卷积块支路,其中第一轻量级卷积块支路具有一个轻量级卷积块,第二轻量级卷积块支路由两个轻量级卷积块串联组成,第三轻量级卷积块支路由三个轻量级卷积块串联组成;第一轻量级卷积块支路、第二轻量级卷积块支路和第三轻量级卷积块支路均与基本卷积块的输出端连接,基本卷积块的输出结果作为多条支路的输入;所述聚合模块用于将第一轻量级卷积块支路、第二轻量级卷积块支路和第三轻量级卷积块支路上提取的特征进行拼接作为inception‑A模块的输出结果;inception‑B模块的结构与inception‑A模块相同;
软注意力模块包括空间注意力模块和通道注意力模块,所述空间注意力模块包括一个全局的跨通道平均池层,一个核为3×3、步长为2的卷积层,一个双线性层,一个自适应学习融合层和一个SE块。
2.根据权利要求1所述的一种基于注意力机制的轻量级多分支行人重识别方法,其特征在于,通过全局特征支路的轻量级模块对预处理后的数据集进行全局特征提取,得到全局特征和全局分支损失,具体包括:首先将预处理后的数据集通过一个基本卷积块进行特征提取,然后再将经过基本卷积块的特征图输入到全局特征支路,在全局特征支路中,首先经过第一特征提取模块进行特征提取,得到第一特征图和第一硬注意力位置信息,将获得的第一硬注意力位置信息反馈到第一Inception‑A模块和第一Inception‑B模块之前,用于传递给局部特征支路,将第一特征图传输至第二特征提取模块进行特征提取,得到第二特征图和第二硬注意力位置信息,并将得到的第二硬注意力位置信息反馈到第二Inception‑A模块和第二Inception‑B模块之前,用于传递给局部特征支路,将会第二特征图传输至第三特征模块进行特征提取,得到第三特征图和第三硬注意力位置信息,将获得的第三硬注意力位置信息反馈到第三Inception‑A模块和第三Inception‑B模块之前,用于传递给局部特征支路,最后将第三特征图通过GeM层和一个全连接层fc,得到全局特征和全局分支损失。
3.根据权利要求2所述的一种基于注意力机制的轻量级多分支行人重识别方法,其特征在于,第一特征提取模块进行特征提取包括:经过基本卷积块的特征图首先经过第一特征提取模块的第一Inception‑A模块和第一Inception‑B模块,然后经过第一特征提取模块的第一HA模块,在第一HA模块中将空间注意力和深度注意力相乘以后,获得第一特征图和第一硬注意力位置信息。
4.根据权利要求1所述的一种基于注意力机制的轻量级多分支行人重识别方法,其特征在于,联合全局分支损失和局部分支损失进行交叉熵损失求解包括:其中, 是由l+1层得到的硬注意力区域输入回来的对应到l层的相应位置的全局特征, 是第k个区域的局部特征, 是第k个区域的全局特征, 表示交叉熵损失,为局部损失, 为全局损失,T表示行人图像的T个局部图像区域。
5.根据权利要求1所述的一种基于注意力机制的轻量级多分支行人重识别方法,其特征在于,全局特征支路由3个块串联而成,每个块中包括一个Inception‑A模块、一个Inception‑B模块和一个HA模块,其中,Inception‑A模块和Inception‑B模块用于提取特征,HA模块用于融合硬注意力和软注意力。
6.一种基于注意力机制的轻量级多分支行人重识别系统,其特征在于,包括:图像获取模块、数据预处理模块、神经网络训练模块、图像识别模块、存储模块、可视化模块和输出模块;
所述图像获取模块用于获取历史图像数据集和实时图像数据;
所述数据预处理模块用于对输入的历史图像数据集的原始图像进行翻转、裁剪、擦除和随机修复处理,对有限的训练数据进行扩增;
所述神经网络训练模块用于训练神经网络,最终得到训练好的神经网络模型,所述神经网络训练模块包括全局分支模块、局部分支模块、共享模块、软注意力模块、硬注意力模块,所述全局分支模块用于全局特征的提取与学习,所述局部分支模块用于局部特征的提取和学习,共享模块作为全局分支模块和局部分支模块之间的共享层,允许全局分支的“知识”转移到局部分支;
所述图像识别模块通过训练好的神经网络模型对实时图像数据可进行处理,得到并输出预测结果;
所述存储模块用于存储预测结果;
所述可视化模块用于输出rank可视化结果和激活图;
所述输出模块用于输出行人图片的分类结果。