1.一种基于自引导特征挖掘网络的车辆重识别方法,其特征在于,所述车辆重识别方法包括以下步骤:S1、构造自引导特征挖掘网络,所述自引导特征挖掘网络包括主干网络和全局分支、噪音补丁过滤分支、显著特征提取分支;
S2、输入车辆图像数据集,对自引导特征挖掘网络进行训练;
S3、采用已训练的自引导特征挖掘网络进行车辆重识别。
2.根据权利要求1所述的基于自引导特征挖掘网络的车辆重识别方法,其特征在于,所述主干网络中从输入至输出的连接关系如下:图像分块层、Cls嵌入层、位置编码嵌入层、DP层Dropout、第一转换层、第二转换层、第三转换层、第四转换层、第五转换层、第六转换层、第七转换层、第八转换层、第九转换层、第十转换层、第十一转换层;
其中,第一转换层、第二转换层、第三转换层、第四转换层、第五转换层、第六转换层、第七转换层、第八转换层、第九转换层、第十转换层、第十一转换层是结构相同的转换层,转换层的具体结构如下:从输入层至输出层依次连接为:Norm层Norm_layer1、Attn层Attention1、DP层Dropout1、Norm层Norm_layer2、MLP层MLP1、DP层Dropout2。
3.根据权利要求1所述的基于自引导特征挖掘网络的车辆重识别方法,其特征在于,所述全局分支中从输入到输出的连接关系如下:全局分支的输入传递至第十二层转换层、第十二转换层连接全局特征、全局特征分别连接三元组损失函数层和BNNECK层、BNNECK层连接交叉熵损失函数层、三元组损失函数层的输出与交叉熵损失函数层的输出相加作为全局分支的输出。
4.根据权利要求1所述的基于自引导特征挖掘网络的车辆重识别方法,其特征在于,所述噪音补丁过滤分支中从输入到输出的连接关系如下:噪音补丁过滤分支的输入传递至第十三转换层、第十三转换层连接噪音补丁过滤层、噪音补丁过滤层分别连接第一噪音补丁过滤特征和第一全局平均池、第一噪音补丁过滤特征分别连接第一三元组损失函数层和第一BNNECK层、第一BNNECK层连接第一交叉熵损失函数层、第一全局平均池连接第二噪音补丁过滤特征、第二噪音补丁过滤特征分别连接第二三元组损失函数层和第二BNNECK层、第二BNNECK层连接第二交叉熵损失函数层、第一三元组损失函数层与第一交叉熵损失函数层的相加之和同第二三元组损失函数层与第二交叉熵损失函数层的相加之和再相加作为噪音补丁过滤分支的输出。
5.根据权利要求1所述的基于自引导特征挖掘网络的车辆重识别方法,其特征在于,所述显著特征提取分支中从输入到输出的连接关系如下:显著特征提取分支的输入传递至第十四转换层、第十四转换层连接显著特征提取层、显著特征提取层分别连接到第一显著特征提取特征和第二全局平均池、第一显著特征提取特征分别连接第三三元组损失函数层和第三BNNECK层、第三BNNECK层连接第三交叉熵损失函数层、第二全局平均池连接到第二显著特征提取特征、第二显著特征提取特征分别连接第四三元组损失函数层和第四BNNECK层、第四BNNECK层连接第四交叉熵损失函数层、第三三元组损失函数层与第三交叉熵损失函数层的相加之和同第四三元组损失函数层与第四交叉熵损失函数层的相加之和再相加作为显著特征提取分支的输出。
6.根据权利要求4所述的基于自引导特征挖掘网络的车辆重识别方法,其特征在于,所述噪音补丁过滤层中,由第十三转换层中Attn层Attention13的多头自注意力机制计算自注意力头的得分矩(N+1)*(N+1)阵A∈R 如下:
A=[a0;a1;a2;...ai...;aN]
其中,i=0、1、2...N为主干网络图像位置编码嵌入层嵌入的位置编码,位置编码0对应主干网络Cls嵌入层嵌入的特征Cls的位置编码,位置编码i=1、2...N对应主干网络图像分块层第i个图像补丁的位置编码,ai表示位置编码为i的图像补丁分别与位置编码为0的特征Cls、位置编码为1至N的N个图像补丁的注意力得分构成的N+1维度的向量,表达式如下:ai=[ai,0;ai,1;ai,2;..ai,j....;ai,N]
其中,j=0、1、2...N,ai,j表示位置编码为i的图像补丁与位置编码为j的图像补丁的注意力得分值;
第十三转换层中Attn层Attention13的多头自注意力共有K个特征注意力头,对于K个特征注意力头中的任意一个注意力头都能计算得到一个得分矩阵A,对所有特征注意力头的得分矩阵求平均得到平均得分矩阵Aavg,平均得分矩阵Aavg与得分矩阵A表达式相同,区别在于矩阵中的值不一样;
根据平均得分矩阵Aavg中a0得到特征Cls与位置编码1、2...N的图像补丁的注意力得分,对N个平均注意力得分从大到小进行排序,选择平均注意力得分较大的M个位置编码,其中,M为小于N的正整数;
将位置编码为0的特征Cls输入到第一噪音补丁过滤特征,将平均注意力得分较大的M个位置编码对应的图像补丁输入到第一全局平均池。
7.根据权利要求5所述的基于自引导特征挖掘网络的车辆重识别方法,其特征在于,所述显著特征提取层中,由第十四转换层中Attn层Attention14的多头自注意力机制计算自注意力头的得分矩(N+1)*(N+1)阵A∈R 如下:
A=[a0;a1;a2;...ai...;aN]
其中,i=0、1、2...N为主干网络图像位置编码嵌入层嵌入的位置编码,位置编码0对应主干网络Cls嵌入层嵌入的特征Cls的位置编码,位置编码i=1、2...N对应主干网络图像分块层第i个图像补丁的位置编码,ai表示位置编码为i的图像补丁分别与位置编码为0的特征Cls、位置编码为1至N的N个图像补丁的注意力得分构成的N+1维度的向量,表达式如下:ai=[ai,0;ai,1;ai,2;..ai,j....;ai,N]
其中,j=0、1、2...N,ai,j表示位置编码为i的图像补丁与位置编码为j的图像补丁的注意力得分值;
第十四转换层中Attn层Attention13的多头自注意力共有K个特征注意力头,对于K个特征注意力头中的任意一个注意力头都能计算得到一个得分矩阵A,K个特征注意力头得到K个得分矩阵A;
根据得分矩阵Al中a0得到特征Cls与位置编码1、2...N的图像补丁的注意力得分,对N个注意力得分从大到小进行排序,选择注意力得分最大位置编码,其中Al表示第l个特征注意力头,l∈(1,2...K),K个特征注意力头得到K个位置编码;
将位置编码为0的特征Cls输入到第二噪音补丁过滤特征,将K个位置编码对应的图像补丁输入到第二全局平均池。
8.根据权利要求1所述的基于自引导特征挖掘网络的车辆重识别方法,其特征在于,所述的步骤S2过程如下:S21、构造车辆重识别数据集,使用PK采样法对数据集进行批次采样,PK采样法对每个输入到自引导特征挖掘网络的图像批次,在数据集中随机采样P类车辆,每类车辆选取K张图像,然后将车辆图像按批次输入到自引导特征挖掘网络得到全局特征、第一噪音补丁过滤特征、第二噪音补丁过滤特征、第一显著特征提取特征、第二显著特征提取特征;
S22、分别将步骤S21得到的全局特征、第一噪音补丁过滤特征、第二噪音补丁过滤特征、第一显著特征提取特征、第二显著特征提取特征,输入三元组损失函数层、第一三元组损失函数层、第二三元组损失函数层、第三三元组损失函数层、第四三元组损失函数层计算三元组损失,在一个批次中,选定一个图像为锚点图像,与锚点图像属于同一个车辆ID的图像称为正样本,与锚点图像不属于同一个车辆ID的图像称为负样本;
三元组损失的函数定义如下:
Ltriplet(c,p,n)=log(1+exp(max(Dcp)‑min(Dcn)))其中,c表示锚点图像,p表示与c构成正样本的图像,n表示与c构成负样本的图像,Dcp表示锚点图像与正样本之间的距离,Dcn表示锚点图像与负样本之间的距离,max(Dcp)表示求极大值,min(Dcn)表示求极小值;
S23、分别将步骤S21得到的全局特征、第一噪音补丁过滤特征、第二噪音补丁过滤特征、第一显著特征提取特征、第二显著特征提取特征,输入交叉熵损失函数层、第一交叉熵损失函数层、第二交叉熵损失函数层、第三交叉熵损失函数层、第四交叉熵损失函数层计算交叉熵损失;
交叉熵损失的函数定义如下:
其中,x表示图像的真实标签,xt表示图像为第t类ID的真实标签,y表示模型识别为图像标签的概率值,yt表示模型识别图像为第t类ID的概率值,Q表示图像数据集的ID种类个数;
S24、将三元组损失函数与交叉熵损失函数相加得到总的损失函数值:
LLoss(F0)=Ltriplet(c,p,n)+LID(x,y)
其中F0表示输入图像的特征,Ltriplet(c,p,n)表示输入图像特征为F0的图像的三元组损失,LID(x,y)表示输入图像特征为F0的图像的交叉熵损失,LLoss(F0)表示输入图像特征为F0的图像整体损失;
S25、将步骤S21得到的全局特征、第一噪音补丁过滤特征、第二噪音补丁过滤特征、第一显著特征提取特征、第二显著特征提取特征分别计算损失,得到整体损失函数表达式如下:LTotal=λ1LLoss(F1)+λ2LLoss(F2)+λ3LLoss(F3)+λ4LLoss(F4)+λ5LLoss(F5)
其中λ1、λ2、λ3、λ4、λ5表示损失函数所占整体损失函数的第一、第二、第三、第四、第五权重,F1表示全局特征,F2表示第一噪音补丁过滤特征,F3表示第二噪音补丁过滤特征,F4表示第一显著特征提取特征,F5表示第二显著特征提取特征。
9.根据权利要求1所述的基于自引导特征挖掘网络的车辆重识别方法,其特征在于,所述的步骤S3过程如下:将图库中图像依次输入到已经训练收敛的自引导特征挖掘网络中,得到全局特征、第一噪音补丁过滤特征、第二噪音补丁过滤特征、第一显著特征提取特征、第二显著特征提取特征,使用图库输入图像得到的全局特征表示为图库输入图像的特征;将查询图像输入到已经训练收敛的自引导特征挖掘网络中,得到全局特征、第一噪音补丁过滤特征、第二噪音补丁过滤特征、第一显著特征提取特征、第二显著特征提取特征,使用查询图像得到的全局特征表示为查询图像的特征;将查询图像的特征依次与图库中图像的特征使用距离度量函数计算查询图像与图库中图像的距离,将查询图像与图库中图像的距离计算结果从小到大按序排列,按排列结果从图库中选择距离最小的10张图像作为重识别结果。
10.根据权利要求9所述的基于自引导特征挖掘网络的车辆重识别方法,其特征在于,所述距离度量函数采用欧式距离函数或余弦距离函数。