1.一种自适应特征融合和跨模态的行人重识别方法,其特征在于,包括以下步骤:(1)获取开源网站SYSU-MM01数据集或RegDB数据集,利用多通道混合增补策略进行预处理;具体如下:对于每个数据集,分别加载可见光和红外图像;预处理具体如下:利用多通道混合增补策略替换可见光图像彩色通道并进行灰度化处理,通过随机调度器将可见光图像,单色通道灰度图像混合,同时获取单色通道灰度变化下的图像与可见光、红外图像间的特征信息的关系;
(2)构建双流网络模型,双流网络模型由2个窗移变换器二代骨干网络模块串联组成;将数据集输入到双流网络模型进行训练得到图像每个类别的预测概率和提取的特征向量;双流网络模型包括两个阶段,每个阶段由窗移变换器二代骨干网络模块构成;其中,第一阶段和第二阶段窗移变换器二代骨干网络模块均包含2个归一化层,在2个归一化层间引入多层感知器;第一阶段在归一化层后添加多头自注意力模块;第二阶段在归一化层后添加滑动窗口自注意力模块;其中,第一阶段具体如下:利用多头自注意力机制捕捉特征的全局关系,并通过归一化和MLP增强特征表示;其中,第一阶段采用难样本挖掘三元组损失函数和身份损失函数,公式如下:;
其中,难样本挖掘三元组损失表示为:
;
其中,表示样本之间的欧式距离,是锚点样本,是难正样本,是难负样本,是margin超参数,用于拉大正样本和负样本之间的距离;
身份损失表示为:
;
其中,是训练样本的数量,是第个样本的真实身份标签, 是模型预测的第个样本属于每个身份的概率分布;
第二阶段具体如下:接收第一阶段输出的图像每个类别的预测概率和提取的特征向量,通过滑动窗口自注意力机制进一步细化特征,在局部范围内进行自注意力计算,同时保持局部信息的完整性;其中,第二阶段采用在第一阶段的损失函数基础上加入比率式中心差异损失函数和跨模态类内降噪损失函数;公式如下:;
其中,和为超参数;、取值区间为0或者0.1到0.9,取值间隔为0.2;表示难样本挖掘三元组损失,表示身份损失,表示比率式中心差异损失,表示跨模态类内降噪损失;
其中,比率式中心差异损失函数公式如下:
;
其中,是指一组数值的算术平均值,计算方法是将所有数值相加,然后除以数值的个数,代表身份总数,代表身份的负样本的特征;
;
其中,代表身份的特征中心,代表单个样本单个身份中的样本数量, 表示多通道混合增补之后的可见光模态下的特征, 表示原始可见光模态下的特征,特征中心与负样本间的平均距离作为动态边界公式如下:;
跨模态类内降噪损失函数公式如下:
;
;
;
其中,代表身份总数,单个样本单个身份中的样本数量,为锚样本, 代表锚样本的身份,代表锚样本的样本值,为锚样本在其内模态下和其他正样本之间的平均距离,为锚样本在交叉模态下和其他正样本之间的平均距离;为内膜态,为交叉模态;
(3)通过矩阵乘法计算查询特征和图库特征之间的距离矩阵,根据距离矩阵计算累计匹配特性曲线CMC、平均精度均值mAP以及平均倒数精度均值 mINP,评价模型的检索性能。