1.一种基于因果效应的车辆重识别无偏特征增强方法,其特征在于,所述车辆重识别无偏特征增强方法包括以下步骤:S1、构建无偏特征增强网络,所述无偏特征增强网络包括骨干网络、无偏特征增强模块、基于因果效应的联合约束模块和预测网络;
S2、构建骨干网络,将包含车辆信息的图像Fin∈RC×W×H输入骨干网络中进行特征提取,其中C表示图像通道的数量,W和H为图像的高和宽,R表示实数域;骨干网络的输出是特征图其中C1为通过骨干网络后特征图的通道数量,W1为通过骨干网络后特征图的宽度,H1为通过骨干网络后特征图的高度;
S3、构建无偏特征增强模块,将特征图FB输入无偏特征增强模块提取特征图的注意力权重和反事实注意力权重,无偏特征增强模块的输出分别是特征图S4、构建基于因果效应的联合约束模块,将特征图特征图输入基于因果效应的联合约束模块进行特征提取,基于因果效应的联合约束模块的输出分别是正常注意力特征图的预测分数反事实注意力特征图的预测分数其中cls为训练集中的车辆种类数;
S5、构建预测网络,将特征图输入预测网络,预测网络的输出分别是特征图最终的预测分数yP∈Rcls;
S6、构建交叉熵损失函数和三元损失函数,然后根据交叉熵损失函数和三元损失函数加权求和得到总损失函数;
S7、输入图像数据集,基于总损失函数对无偏特征增强网络进行训练;
S8、输入待检测图像,采用已训练的无偏特征增强网络进行车辆重识别。
2.根据权利要求1所述的一种基于因果效应的车辆重识别无偏特征增强方法,其特征在于,所述骨干网络从输入至输出依次连接为:卷积层conv1_0、BN层conv1_0_bn、Relu层conv1_0_relu、最大池化层max_pooling1、res_1模块、res_2模块、res_3模块、res_4模块;
其中,res_1模块由3个ResBlock依次连接构成;res_2模块由4个ResBlock依次连接构成;res_3模块由6个ResBlock依次连接构成;res_4模块由3个ResBlock依次连接构成;
所述ResBlock的结构从输入至输出依次连接为:卷积层conv2_1、BN层conv2_1_bn、Relu层conv2_1_relu、卷积层conv2_2、BN层conv2_2_bn、Relu层conv2_2_relu、卷积层conv2_3、BN层conv2_3_bn。
3.根据权利要求2所述的一种基于因果效应的车辆重识别无偏特征增强方法,其特征在于,所述步骤S2过程如下:将特征图Fin作为输入经过卷积层conv1_0、BN层conv1_0_bn、Relu层conv1_0_relu、最大池化层max_pooling1、res_1模块、res_2模块、res_模块、res_4模块,得到特征图FB。
4.根据权利要求1所述的一种基于因果效应的车辆重识别无偏特征增强方法,其特征在于,所述无偏特征增强模块的结构及连接关系如下:无偏特征增强模块的输入分别传递至卷积层conv3_1和卷积层conv3_2,卷积层conv3_1的输出和卷积层conv3_2的输出进行乘积运算,乘积运算结果与卷积层conv3_3的输出进行乘积运算后分别传递至卷积层conv3_4和卷积层conv3_5,卷积层conv3_4连接BN层conv3_4_bn,BN层conv34bn的输出传递至预测网络和损失函数,卷积层conv35连接BN层conv35bn,BN层conv35bn的输出传递至预测网络和损失函数,所述步骤S3过程如下:S31、将特征图FB输入到卷积层conv31中,得到特征图将特征图FB输入到卷积层conv3_2中,得到特征图将特征图FB输入到卷积层conv33中,得到特征图S32、改变特征图的维度,得到特征图改变特征图的维度,得到特征图改变特征图的维度,得到特征图S33、将特征图和特征图相乘,得到特征图将特征图与特征图相乘,得到特征图改变特征图的维度,得到特征图S34、将特征图分别通过卷积层conv34、BN层conv34bn,得到特征图的注意力权重S35、将特征图分别通过卷积层conv35、BN层conv35bn,得到特征图的反事实注意力权重S36、将特征图分别与注意力权重反事实注意力权重进行逐元素相乘,输出特征图
5.根据权利要求1所述的一种基于因果效应的车辆重识别无偏特征增强方法,其特征在于,所述基于因果效应的联合约束模块从输入至输出依次连接为:最大池化层max_pooling2、BN层max_pooling2_bn、全连接层fc_cls1、softmax层,softmax层的输出传递至损失函数;
所述步骤S4过程如下:
S41、将特征图输入到最大池化层max_pooling2中,得到特征图将特征图输入到最大池化层max_pooling2中,得到特征图S42、将特征图特征图分别通过全连接层fc_cls1、softmax层,得到正常注意力特征图的预测分数反事实注意力特征图的S43、将预测分数与进行逐元素相减,最终输出反事实注意力特征图的预测分数
6.根据权利要求5所述的一种基于因果效应的车辆重识别无偏特征增强方法,其特征在于,所述预测网络从输入至输出依次连接为:最大池化层max_pooling3、BN层max_pooling3_bn、全连接层fc_cls2,最大池化层max_pooling3和全连接层fc_cls2传递至损失函数;
所述步骤S5过如下:
S51、将特征图作为输入通过最大池化层max_pooling3,得到特征图FP;
S52、将特征图FP作为输入通过BN层max_pooling3_bn、全连接层fc_cls2中,得到预测分数yP∈Rcls。
7.根据权利要求1所述的一种基于因果效应的车辆重识别无偏特征增强方法,其特征在于,所述步骤S6过程如下:S561、使用交叉熵损失函数表示车辆图片的真实类别与预测分数之间的差异,定义交叉熵损失函数如下:其中N表示测试数据集中待测样本的数量,M表示测试数据集中待测试样本的种类数量,y表示图像的真实标签,yc表示一个第c类ID的真实标签,P表示模型识别为图像标签的概率值,Pc表示模型识别图像为第c类ID的概率值;
S62、使用三元损失函数最小化正样本之间的距离及最大化负样本之间的距离,定义三元损失函数如下:Ltri(xa,xp,xn)=max(0,||f(xa-xp)||-||f(xa-xn)||+m)其中xa,xp,xn分别表示锚点样本、正样本和负样本的特征向量,||f(xa-xp)||表示锚点样本与正样本的欧式距离、||f(xa-xp)||表示锚点样本与负样本的欧式距离,m表示正样本和负样本之间的距离参数,max(,)表示取较大值操作;
S63、将交叉熵损失函数和三元损失函数进行加权合并得到总损失函数:
其中λ1为基于因果效应的联合约束模块的平衡参数,λ2为预测网络输出损失的平衡参数,Ltri(xa,xp,xn)为预测网络的预测分数yP的三元损失。
8.根据权利要求7所述的一种基于因果效应的车辆重识别无偏特征增强方法,其特征在于,所述步骤S7过程如下:S71、构造车辆重识别数据集,使用PK采样法对数据集进行批次采样,PK采样法对每个输入到自引导特征挖掘网络的图像批次,在数据集中随机采样P类车辆,每类车辆选取K张图像,然后将车辆图像按批次输入到无偏特征增强网络得到正常注意力特征图的预测分数反事实注意力特征图的预测分数和最终预测分数yP;
S72、分别将步骤S71得到的正常注意力特征图的预测分数反事实注意力特征图的预测分数和最终预测分数yP输入到交叉熵损失函数和三元损失函数计算交叉熵损失和三元损失,将交叉熵损失函数和三元损失函数加权合并成总损失函数,通过总损失函数训练无偏特征增强网络。
9.根据权利要求1所述的一种基于因果效应的车辆重识别无偏特征增强方法,其特征在于,所述步骤S8过程如下:将图库中图像依次输入到已经训练收敛的无偏特征增强网络中,得到最终预测分数使用图库输入图像得到的最终预测分数表示为图库输入图像的特征;将待检测图像输入到已经训练收敛的无偏特征增强网络中,得到最终预测分数使用待检测图像得到的最终预测分数表示为待检测图像的特征;将待检测图像的特征依次与图库中图像的特征使用距离度量函数计算查询图像与图库中图像的距离,将待检测图像与图库中图像的距离计算结果从小到大按序排列,按排列结果从图库中选择距离最小的10张图像作为重识别结果。
10.根据权利要求9所述的一种基于因果效应的车辆重识别无偏特征增强方法,其特征在于,所述距离度量函数采用欧式距离函数或余弦距离函数。