1.一种基于自监督学习和预训练模型的跨模态行人重识别方法,其特征在于,包括如下步骤:步骤1、预训练数据的获取与预处理;
步骤1.1、利用YOLO算法从视频中采集M张可见光行人图像并进行归一化预处理,得到可见光数据集 其中, 表示第m张可见光行人图像;
利用近红外相机采集N个行人的近红外行人图像并进行归一化预处理,得到近红外数据集Dt=(Xt,Yt),其中,Xt表示近红外图像数据集,且 表示第n张近红外行人图像,Yt为Xt的身份标签数据集;
步骤1.2、使用通道增强方法将可见光数据集Xs转换为与近红外更相近的第三模态,得到可见光增强数据集 其中, 表示第m张可见光增强行人图像;
步骤1.3、利用式(1)计算第m张可见光增强行人图像 与第m张近红外行人图像 间的跨模态灾难性遗忘评分,用于度量第m张可见光增强行人图像 与近红外行人图像 的特征距离式(1)中,θs表示在可见光数据集Xs上进行无监督预训练的编码器,θt表示在近红外图像数据集Xt上进行有监督训练的编码器;
步骤1.4、按照步骤1.3的过程得到所有可见光增强行人图像分别与各个近红外行人图像间的特征距离,并从中筛选出距离最近的M′张可见光行人图像,用于构建无标签的预训练数据集 其中, 表示筛选出的第m′张可见光行人图像;
步骤2、构建通道组合模块与对比学习网络,所述通道组合模块用于生成正样本图像,所述对比学习网络用于提取图像特征;
步骤2.1、所述通道组合模块包括:通道分离复制单元、通道擦除单元、通道叠加单元;
并 输入所述通道组合模块中进行处理,得到 的正样本图像对集合;
步骤2.2、所述对比学习网络由两个编码器EQ,EK、一个线性降维模块M、一个记忆存储库模块组成;
将 的正样本图像对集合中任意一个正样本对中的一个组合图像视为一个锚点并输*入编码器EQ中进行处理,将正样本对中的另外一个组合图像视为正样本,将预训练数据集X中除 外的其他图像视为负样本集合,并与一起输入编码器EK中进行处理,从而得到锚点、正样本、负样本集合的初步特征;
所述线性降维模块M由包含两层全连接层和Relu函数的MLP层组成,并用于对锚点、正样本、负样本集合的初步特征进行线性降维,得到降维后的锚点、正样本、负样本集合的特征;
所述记忆存储库模块为队列结构,用于动态存储降维后的负样本集合的特征;
步骤3、使用式(2)建立反向传播的双重对比损失函数L:
+
式(2)中,α,β为比例系数,且α+β=1;q为降维后的锚点的特征;k为降维后的正样本的‑特征,ki 为降维后的负样本集合的特征中任意第i个特征;τ为温度系数;K表示降维后的负样本集合的特征数;
步骤4、利用梯度下降法对所述对比学习网络进行训练,并计算双重对比损失函数L以更新网络参数,当损失函数L的值小于所设定的阈值或训练迭代次数达到所设定的要求时,完成训练,并得到最优预训练模型;
步骤5、将所述预训练模型迁移至跨模态行人重识别模型上,并将近红外数据集Dt=(Xt,Yt)输入到迁移后的跨模态行人重识别模型上进行训练,以微调跨模态行人重识别模型的参数,从而得到微调后的跨模态行人重识别模型,用于对待预测的近红外图像数据进行跨模态行人重识别。
2.根据权利要求1所述的基于自监督学习的跨模态行人重识别方法,其特征在于,所述步骤2.1具体包括如下过程:所述通道分离复制单元对任意一张可见光行人图像的R、G、B三通道进行分离与复制,得到可见光行人图像在三通道上的若干个复制图像;
所述通道擦除单元利用通道擦除函数对可见光行人图像在三通道上的若干个复制图像分别进行部分像素的擦除;
所述通道叠加单元从可见光行人图像在三通道上擦除后的若干个复制图像中随机选取三个复制图像进行组合,得到一个组合图像,从而得到可见光行人图像的若干个组合图像,并由任意两个组合图像构成一个正样本图像对。
3.一种电子设备,包括存储器以及处理器,其特征在于,所述存储器用于存储支持处理器执行权利要求1或2所述跨模态行人重识别方法的程序,所述处理器被配置为用于执行所述存储器中存储的程序。
4.一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,其特征在于,所述计算机程序被处理器运行时执行权利要求1或2所述跨模态行人重识别方法的步骤。