1.一种基于全局与局部特征的对抗学习模态行人重识别方法,其特征在于,包括以下步骤:v t
S1.将选定的可见光图像样本集X 和红外图像样本集X 作为训练数据;其中,可见光图像样本集为 红外图像的样本集为 每个样本集包含M个行人,标签集为Y={yi|i=1,2,…,N},N代表可见光图像或红外图像的数量;
S2.在卷积神经网络的基础上,加入注意力机制模块,构建具有注意力机制的特征提取网络;将可见光图像样本和红外图像样本输入具有注意力机制的特征提取网络获取特征;
所述的具有注意力机制的特征提取网络,包括模态特定子模块和模态共享子模块 模态特定子模块包含可见光子模块 和红外子模块 模态共享子模块 包含 3个卷积块;
v t
S3.将从具有注意力机制的特征提取网络获得的可见光特征fi ,红外特征fi输入局部vp tp特征学习模块进行操作,得到可见光局部特征fi 和红外局部特征fi 、可见光局部降维特vp′ tp′ vp″ tp″征fi 和红外局部降维特征fi 、可见光局部标签特征fi 和红外局部标签特征fi 、可见v′ t′光拼接特征fi 和红外拼接特征fi ;
v t
S4.将从具有注意力机制的特征提取网络获得的可见光特征fi 、红外特征fi输入预测vg tg一致性模块进行操作,得到可见光全局特征fi 和红外全局特征fi 、可见光全局标签特征vg′ tg′fi 和红外全局标签特征fi ;
v′ t′
S5.将可见光拼接特征fi 和红外拼接特征fi 输入对抗学习模块进行处理。
2.根据权利要求1所述的一种基于全局与局部特征的对抗学习模态行人重识别方法,其特征在于,所述步骤S2的具体过程包括:v′ v
步骤S2.1.获取通道注意力模块的输出特征Fi :将可见光中层特征Fi作为通道注意力v模块的输入,对可见光中层特征Fi在空间维度上进行最大池化和平均池化操作得到特征和 然后将特征 和 输入到两层全连接神经网络中进行维度压缩,再将进行维C*1*1度压缩后的特征 和特征 逐元素求和合并,最后得到1维的通道注意力特征Mc∈R :式中,σ(·)表示Sigmoid激活函数,MLP表示两层全连接神经网络,AvgPool(·)表示平均池化,MaxPool(·)表示最大池化,W1,W0表示两层神经网络的权重参数;
v
最后将通道注意力特征Mc与可见光中层特征Fi 进行乘积得到通道注意力模块的输出v′特征Fi :
式中 为两个矩阵对应位置元素进行乘积;
v t v′
步骤S2.2.获取可见光特征fi 和红外特征fi:将通道注意力模块的输出特征Fi 作为空v′间注意力模块的输入特征,首先对空间注意力模块的输入特征Fi 在通道维度上进行最大池化和平均池化操作得到特征 和 然后将得到的特征 和特征 在通道维度上进行拼接,再经过卷积核为7×7的卷积操作后通过Sigmoid激活层得到2维的空间注意力特征
1*H*W
Ms∈R :
7×7
式中,F 表示卷积核为7×7的卷积操作,[;]表示对特征进行拼接;
v′ v″
最后将空间注意力特征Ms与特征Fi 做乘法得到空间注意力模块的输出特征Fi :v″ v
再将空间注意力模块的输出特征Fi 输入卷积块 得到可见光特征fi;对红外中层特t v t征Fi进行和可见光中层特征Fi相同的操作,得到红外特征fi。
3.根据权利要求1所述的一种基于全局与局部特征的对抗学习模态行人重识别方法,其特征在于,所述步骤S3具体包括:v
S3.1.对可见光特征fi在水平方向上进行均匀划分,得到P个大小相同的可见光局部特vp vp征fi ,p=1,2,…,6;然后对可见光局部特征fi 先采用广义平均池化;再采用1×1的卷积vp′ t核进行卷积得到可见光局部降维特征fi ,对红外特征fi进行相应的操作得到红外局部降tp′维特征fi ;
vp′ tp′
S3.2.对每部分可见光局部降维特征fi 、红外局部降维特征fi 采用基于异质中心的三元组损失以提高局部特征的鉴别性,损失如下:式中,min||·||+函数表示难样本挖掘,[·]+=max(·,0),ρ为间隔参数,||·||2为两个特征中心之间的欧式距离,表示从m=1到m=M之间的结果进行求和;
分别为当前训练批次中第m个行人的可见光图像局部特征中心和红外图像局部特征中心;
分别为当前训练批次中第m个行人的第k张可见光图像局部特征的第p部分和第k张红外图像局部特征的第p部分;共有M个可见光局部特征中心 和M个红外局部特征中心vp′ vp″
S3.3.对局部可见光降维特征fi 进行分类得到可见光局部标签特征fi ,通过相同的tp″ vp″ tp″操作得到红外局部标签特征fi ;基于可见光局部标签特征fi 和红外局部标签特征fi的分类损失为:vp″ vp″ tp″
式中,pi(fi )表示可见光局部标签特征fi 生成的概率分布,pi(fi )表示红外局部tp″标签特征fi 生成的概率分布;yi为对应图像的真实标签,log为对数运算;
v′ vp′ v1′ v2′
S3.4.可见光拼接特征fi 由每部分可见光局部降维特征fi 进行拼接([fi ;fi ;
v3′ v4′ v5′ v6′ t′ tp′fi ;fi ;fi ;fi ])得到,红外拼接特征fi 由每部分红外局部降维特征fi 进行拼接得v′ t′到,对可见光拼接特征fi 、红外拼接特征fi 采用基于异质中心的三元组损失:v′
式中, 基于可见光拼接特征fi 得到,为第m个行人的P个可见光拼接特征的中心, 基t′于红外拼接特征fi 得到,为第m个行人的P个红外拼接特征的中心。
4.根据权利要求1所述的一种基于全局与局部特征的对抗学习模态行人重识别方法,其特征在于,所述步骤S4具体包括:v
S4.1.将从具有注意力机制的特征提取网络得到的可见光特征fi通过平均池化转换为vg vg可见光全局特征fi ,然后将可见光全局特征fi 通过由三层全连接神经网络和分类器构成vg′的全局特征身份预测模块,得到第三层全连接层输出的可见光全局标签特征fi 、以及分类器输出的身份类别概率 为第i个可见光全局特征的身份类别概率;
t v tg
对红外特征fi 进行与可见光特征fi 相同的操作得到红外全局特征fi 和红外全局标签特tg′征fi ;其中, 如下:
g vg′ vg′
式中,p (fi )表示可见光全局标签特征fi 生成的概率分布,exp()指以自然常数e为底的指数函数, 为全局特征身份预测模块中身份标签为yi的行人的分类器参数, 为全局特征身份预测模块中第m个行人的分类器参数;
同理可得到 局部特征挖掘模块中第i张可见光图像和红外图像对应的身份类别概率分别为
使用KL散度损失LKL来减少两个预测分布之间的距离:式中, 测量分布 和分布 之间的相互关系散度;
vg tg
S4.2.对可见光全局特征fi 以及红外全局特征fi 采用基于异质中心的三元组损失以提高全局特征的鉴别性,其损失为:式中, 为第m个行人的可见光全局特征的中心, 为第m个行人的红外全局特征的中vg tg心; 和 分别基于可见光全局特征fi 和红外全局特征fi 得到;共有M个可见光特征中心vg′和M个红外特征中心 基于可见光全局标签特征fi 和红外全tg′
局标签特征fi 的分类损失为:
g vg′ vg′ g tg′
式中,p (fi )表示可见光全局标签特征fi 生成的概率分布,p (fi )表示红外全局tg′标签特征fi 生成的概率分布。
5.根据权利要求1所述的一种基于全局与局部特征的对抗学习模态行人重识别方法,其特征在于,所述步骤S5具体包括:S5.1.模态判别器D包括两层全连接神经网络,其目标是区分输入图像的特征是可见光模态或红外模态;生成器G包括局部特征挖掘模块和预测一致性模块,其目标是在学习鉴别特征的同时让可见光特征和红外特征的模态差异最小化;模态判别器的分类损失为:式中θD是判别器的参数;
生成器G的生成损失为:
Lgen(θid,θtri,θkl)=Lid(θid)+αLhc_tri(θtri)+βLKD(θkl) (13)式中,α、β为超参数,θid、θtri、θkl为生成器参数;
S5.2.生成器和模态判别器执行极大极小的博弈,判别器的参数在生成模型的阶段被固定,反之亦然;平衡生成模型和判别模型之间的训练过程,优化的总体目标为:公式(14)中 表示函数取最小值时此时变量θid和θtri的取值;公式(15)中表示函数取最大值时此时变量θD的取值。