1.一种基于知识蒸馏的可见光‑红外跨模态行人重识别方法,其特征在于,包括以下步骤:步骤S1、初始输入K对图片至特征提取部分,进行浅层特征提取;所述K对图片中每对包括针对同一目标的一张可见光图片和一张红外图片;所述特征提取如下:IV=FV(iV)
IT=FT(iT)
其中,iV表示可见光图片,FV表示对可见光进行浅层特征提取,IV表示可见光图片提取的特征;iT表示红外图片,FT表示对红外图片进行浅层特征提取,IT表示红外图片提取的特征;
步骤S2、引入知识蒸馏函数KD Loss,根据步骤S1所得特征对IV和IT计算损失函数如下:步骤S3、将步骤S1获取的特征对IV和IT输入至特征映射部分,提取可见光模态和红外模态的模态共享特征如下:KV=E(IV)
KT=E(IT)
其中,E表示深入提取模态共享特征操作;KV和KT分别表示提取到的共享特征;
步骤S4、将步骤S3所得模态共享特征KV和KT依次输入至GEM池化层、批归一化层和全连接层,输出分类结果如下:LV=FC(BN(GEM(KV)))
LT=FC(BN(GEM(KT)))
其中GEM表示池化操作,具体如下:
x是经过池化操作输出的特征;p 是超参数,采用预先设置或反向传播学习获取,当p→∞时,相当于最大池化,当p→1时,相当于平均池化;
BN表示批归一化操作,FC表示全连接层;
步骤S5、引入改进枚举损失函数;
步骤S5.1、引入类间跨模态枚举损失函数Lc如下:其中{(x1,y1),(x2,y2),…(xi,yi)…(xn,yn)}表示有N对不同模态的图片,xi为标准样本图片,yi为积极样本图片,yj为消极样本图片;
步骤S5.2、引入类内同模态枚举损失函数Ls如下:其中{(x1,y1),(x2,y2),…(xi,yi)…(xn,yn)}表示有N对不同模态的图片,xi为标准样本图片,yi为积极样本图片,xj为消极样本图片;
步骤S5.3、引入紧密项C如下:
其中fr(yi)表示f(yi)的第r个元素, 表示f(yi)的所有元素的平均值,R是输出的深层局部特征表示f(yi)的维度;
最终枚举损失函数如下:
Lenumerate=Lc+Ls+λC其中λ是一个平衡项,用来平衡紧密项C;
步骤S6、将身分信息集成到总体损失函数中;具体地,设计交叉熵损失函数如下:其中N表示样本的身份信息的类数,Lidt表示红外图片的交叉熵损失函数,Lidv表示可见光图片的交叉熵损失函数,q()表示预测的标签,p()表示真实的标签,xi表示可见光图片,yi表示红外图片;
步骤S7、基于步骤S2、S5和S6可得,最终损失函数如下:Ltotal=Lenumerate+Lidv+Lidt+LKD。