1.一种基于双重自监督学习的半监督跨模态行人重识别方法,其特征在于,包括以下步骤:A:构造跨模态行人重识别数据集,并对跨模态行人重识别数据集中的行人图像进行预处理,得到有监督训练的输入图像;
B:对跨模态行人重识别数据集中的行人图像进行数据增强处理,得到数据增强处理后的行人图像,数据增强处理后的行人图像包含基于上下文的旋转自监督图像和基于对比的自监督图像;
C:构建基于双重自监督学习的半监督跨模态行人重识别的主干网络和自监督训练网络;其中,自监督训练网络包括基于上下文的旋转自监督网络和基于对比学习的自监督网络;主干网络、基于上下文的旋转自监督网络和基于对比学习的自监督网络并行设置且共享网络权重;
其中,主干网络用于对有监督训练的输入图像进行有监督学习,获取最终行人图像特征;基于上下文的旋转自监督网络,用于对基于上下文的旋转自监督图像进行自监督学习,得到用于旋转角度预测的第一概率矩阵;基于对比学习的自监督网络,用于对基于对比的自监督图像进行自监督学习,得到用于对比自监督学习的第二概率矩阵;
D:利用步骤B中增强处理后的行人图像构建训练集,训练集中包括有标记样本和无标记样本,使用有标记样本通过主干网络学习得到用于有监督训练的最终行人图像特征,使用无标记样本分别通过基于上下文的旋转自监督网络和基于对比学习的自监督网络,得到用于旋转角度预测的第一概率矩阵和用于对比自监督学习的第二概率矩阵;
E:利用步骤D中得到的用于有监督训练的最终行人图像特征,以及用于旋转角度预测的第一概率矩阵和用于对比自监督学习的第二概率矩阵,通过基于双重自监督学习的半监督跨模态行人重识别的主干网络和自监督训练网络,进行基于自监督的行人重识别任务,输出最终的识别结果。
2.根据权利要求1所述的基于双重自监督学习的半监督跨模态行人重识别方法,其特征在于,所述的步骤A包括以下具体步骤:A1:构造跨模态行人重识别数据集,获取跨模态行人重识别数据集中训练集内的行人图像,并设定基于双重自监督学习的半监督跨模态行人重识别方法的网络模型输入的图像总数;
A2:对跨模态行人重识别数据集中的行人图像进行尺寸调整,将行人图像的宽和高均调整为相同大小;
A3:对步骤A2中尺寸调整后的行人图像进行随机水平翻转;
A4:对步骤A3中随机水平翻转后的行人图像进行像素填充;
A5:对步骤A4中填充后的行人图像进行随机裁剪;
A6:对步骤A5中随机裁剪后的行人图像进行归一化处理;
A7:对步骤A6中归一化处理后的行人图像进行通道随机擦除,得到有监督训练的输入图像。
3.根据权利要求2所述的基于双重自监督学习的半监督跨模态行人重识别方法,其特征在于,所述的步骤B包括以下具体步骤:B1:依次对尺寸调整后的每个行人图像,从旋转角度集合{0,90,180,270}中随机挑选一个角度进行旋转,并为每一个角度旋转后的行人图像分别对应生成一个伪标签,得到基于上下文的旋转自监督图像;
B2:对得到的有监督训练的输入图像进行通道随机擦除;
B3:对完成通道随机擦除后的行人图像使用通道交换,得到基于对比的自监督图像。
4.根据权利要求1所述的基于双重自监督学习的半监督跨模态行人重识别方法,其特征在于:所述的步骤C中,主干网络依次包括第一卷积层、第一池化层、第一至第三残差层、第一模态注意力层、第四残差层、第二模态注意力层和部位对齐注意力层;第一卷积层和第一至第四残差层对降维后的行人图像特征逐层进行特征提取,学习行人图像的浅层特征;
第一模态注意力层用于学习两种模态下的行人图像的深层特征;部位对齐注意力层用于发掘可见光模态和红外模态之间的细小差距,得到最终行人图像特征。
5.根据权利要求4所述的基于双重自监督学习的半监督跨模态行人重识别方法,其特征在于:所述的第一模态注意力层和第二模态注意力层结构相同,均由两个卷积核大小为1的第二卷积层、ReLU激活函数和Sigmod激活函数组成;第一模态注意力层和第二模态注意力层的计算公式为:其中,Z表示得到的行人图像的深度特征,表示Z经过实例标准化之后的矩阵,mC为通道掩码,表示与身份相关的通道,mC的计算公式为mC=σ(W2δ(W1g(Z)));g(·)表示全局平均池化层,δ(·)表示ReLU激活函数,σ(·)表示Sigmod激活函数,W1和W2分别表示模态注意力层中的两个全连接层,且两个全连接层位于ReLU激活函数和Sigmod激活函数后。
6.根据权利要求1所述的基于双重自监督学习的半监督跨模态行人重识别方法,其特征在于:所述的基于上下文的旋转自监督网络依次包括第三卷积层、第二池化层、第三模态注意力层、第五残差层、第四模态注意力层、全局平均池化层、BN层和第一全连接层,第三模态注意力层、第四模态注意力层与第一模态注意力层结构相同。
7.根据权利要求1所述的基于双重自监督学习的半监督跨模态行人重识别方法,其特征在于:所述的基于对比学习的自监督网络的结构,为在主干网络的基础上增加第二全连接层,且第二全连接层位于部位对齐注意力层之后。
8.根据权利要求1所述的基于双重自监督学习的半监督跨模态行人重识别方法,其特征在于:所述的步骤E中,有监督训练的输入图像的最终行人图像特征,经过设定的第一交叉熵损失函数和中心损失函数利用反向传播更新主干网络权重;
交叉熵损失 的计算公式为:
其中,n和m分别表示当前批次中可见光模态和红外模态图像的数量,fv,fr分别表示可见光模态的行人图像特征和红外模态的行人图像特征, 和 分别表示fv,fr对应的图像标签,C(fv)和C(fr)分别表示两个模态的行人图像特征经过两个参数为θ的分类器得到的概率矩阵,P(·)是softmax函数;
中心损失函数 的计算公式为:
其中,fi表示行人图像特征, 表示当前批次标签为yi的特征的均值, 表示当前批次标签为yk的特征的均值, 表示当前批次标签为yj的特征的均值,T是当前批次中行人数量,ρ指的是所有中心之间的最小间距。
9.根据权利要求1所述的基于双重自监督学习的半监督跨模态行人重识别方法,其特征在于:所述的步骤E中,基于上下文的旋转自监督网络通过第二交叉熵损失函数判断旋转角度,最终由主干网络输出行人检测的平均精度结果,平均精度结果用于评价行人重识别的准确率;
第二交叉熵损失函数 的计算公式为:
其中,表示经过随机旋转后的图像,是图像随机旋转角度生成的标记,R表示一个批次中的图像样本总数。
10.根据权利要求1所述的基于双重自监督学习的半监督跨模态行人重识别方法,其特征在于:所述的步骤E中,基于对比学习的自监督网络输出的第二概率矩阵,通过KL散度作为一致性约束损失函数;
其中,p(xi)表示监督学习中彩色图像分类器得到的概率矩阵,q(xi)表示基于对比的自监督特征通过分类器后得到的概率矩阵。