1.一种语义感知的跨模态行人重识别方法,其特征在于,包括:S1:获取若干身份的行人图像及其对应的身份标签;每个身份的行人图像包括数量相同的可见光图像和红外图像;
S2:对所述可见光图像进行数据增强得到辅助图像;
S3:构建跨模态语义感知网络模型,基于所述可见光图像、所述红外图像以及所述辅助图像训练所述跨模态语义感知网络模型;
所述跨模态语义感知网络模型包括人体语义特征提取模块、人体语义感知注意力模块;
采用ResNet-50网络作为跨模态语义感知网络模型的骨干网络;
所述人体语义特征提取模块包括模态特定信息提取模块和模态共有信息提取模块;
ResNet-50网络包括5个阶段,将第一阶段以及第二阶段的网络参数权重不共享作为所述模态特定信息提取模块;将第三阶段、第四阶段以及第五阶段作为权重共享部分提取作为所述模态共有信息提取模块;
在第三阶段与第四阶段之间嵌入有一所述人体语义感知注意力模块,在第四阶段与第五阶段之间嵌入有另一所述人体语义感知注意力模块;
在所述人体语义感知注意力模块中,对于输入的图像,给予一个第三阶段或第四阶段输出的行人图像特征;将行人图像特征送入全局平均池化层,并通过两个1×1的卷积层获得加权特征图,计算公式为:F
其中,Fg表示加权特征图,σ{}表示sigmoid激活函数,δ{}表示ReLU激活函数,g()表示全局平均池化层,F表示行人图像特征,W基于所述行人图像特征和所述加权特征图得到身份相关特征,计算公式为:其中,F
基于所述身份相关特征计算人体全局特征,计算公式为:F
其中,F
所述人体语义特征提取模块接收所述人体全局特征,并将其通过一个线性层,表达式为:其中,
根据预测语义解析置信图,利用每个像素的语义类别标签生成语义对齐的特征图,得到人体语义特征;人体语义特征中第i个语义局部特征图的计算公式为:其中,P
将所述人体全局特征与所述人体语义特征进行通道级联,得到行人特征,计算公式为:F
其中,F
S4:获取测试可见光图像、测试红外图像;将所述测试可见光图像、所述测试红外图像分别输入至训练好的所述跨模态语义感知网络模型,得到可见光模态的行人特征和红外模态的行人特征;
S5:将其中一个模态的行人特征作为查询集,另一模态的行人特征作为图库集,计算查询集中各行人特征分别与图库集中各行人特征之间的相似度并排序,基于排序结果得到跨模态行人重识别结果。
2.根据权利要求1所述的语义感知的跨模态行人重识别方法,其特征在于,S1中,从跨模态行人重识别数据集SYSU-MM01中获取若干身份的行人图像及其对应的身份标签。
3.根据权利要求1所述的语义感知的跨模态行人重识别方法,其特征在于,S2中,所述对所述可见光图像进行数据增强得到辅助图像包括:随机选取所述可见光图像中的一种通道数据作为辅助图像。
4.根据权利要求1所述的语义感知的跨模态行人重识别方法,其特征在于,所述预测语义解析置信图通过语义解析损失函数和分离损失函数进行约束,计算公式分别为:其中,L
5.根据权利要求1所述的语义感知的跨模态行人重识别方法,其特征在于,S3中,以4张可见光图像、4张所述红外图像以及4张所述辅助图像作为一个训练批次;基于所述行人特征,并通过三模态身份损失训练所述跨模态语义感知网络模型;所述三模态身份损失表达式为:其中,
6.根据权利要求1所述的语义感知的跨模态行人重识别方法,其特征在于,S5中,所述相似度的计算公式为:其中,D
根据图像对之间的相似度检索出前K个相似度最高的图库图像组成top-k跨模态行人重识别结果。