1.一种视觉-语言信息交互增益的行人重识别方法,其特征在于,包括以下步骤:
首先,在数据处理步骤中通过显著性网络生成行人显著性图像,基于所述显著性图像对图像进行非均匀采样,得到关键区域放大的采样后图像;
然后,在属性提取步骤中利用图像属性提取器和文本属性提取器分别提取采样后图像的视觉属性掩码和对应文本描述的添加了属性字段的文本,其中,所述图像属性提取器采用Grounded SAM模型,通过外部文本属性提示词生成高置信度语义分割结果;所述文本属性提取器采用GPT2模型,按照属性分词指令对文本描述进行短语级属性提取;图像属性、文本属性、采样后图像、文本描述输入跨模态特征编码步骤进行特征提取;
接着,在跨模态特征编码步骤中采用对比语言-图像预训练模型对采样后图像和文本描述进行特征编码,得到图像全局特征和文本全局特征,其中,所述图像全局特征提取使用对比语言-图像预训练模型的视觉转化器,输入为采样后图像;所述文本全局特征提取使用对比语言-图像预训练模型的文本转化器,输入为文本描述;图像全局特征与文本全局特征通过特征融合与对应属性特征融合,所述特征融合公式为Matt为视觉属性掩码,Fv为图像全局特征,为视觉属性特征,然后,通过添加了属性字段的文本得到文本属性特征最后,在特征融合处理步骤中基于视觉属性特征和文本属性特征的相似度分类结果,通过层次化对齐损失函数优化模型参数,其中,所述损失函数包括属性级的模态内对比损失、模态间对比损失、三元组损失以及全局级的实例损失、行人身份损失。
2.如权利要求1所述的一种视觉-语言信息交互增益的行人重识别方法,其特征在于,所述数据处理步骤中,显著性图像由显著性网络生成非均匀采样结果,所述显著性网络包括依次连接的7×7卷积层、批归一化层、ReLU激活函数、3×3最大池化层、四个残差连接块、1×1卷积层及Sigmoid激活函数,所述1×1卷积层将特征图通道数压缩至1通道并通过双线性插值上采样至输入图像尺寸。
3.如权利要求2所述的一种视觉-语言信息交互增益的行人重识别方法,其特征在于,所述非均匀采样结果通过显著性网格生成模块实现,所述模块包括:对显著性图像进行边界填充处理;
构建维度为[batch_size,height,width,2]的基础网格,其中最后一维为归一化坐标(x,y);将显著性图像与基础网格逐元素相乘生成加权网格,经高斯滤波后执行采样。
4.如权利要求1所述的一种视觉-语言信息交互增益的行人重识别方法,其特征在于,规定一个依据余弦相似度进行样本划分的分类策略,所述视觉属性特征与文本属性特征的相似度分类结果通过余弦相似度Si(·)获得,公式为:其中,Vattr_i为第i个视觉属性特征,Tattr_j为第j个文本属性特征,通过预设的正负样本阈值θpos和θneg将属性样本对分为12种相似度情况。
5.如权利要求4所述的一种视觉-语言信息交互增益的行人重识别方法,其特征在于,根据所述分类策略,定义层次化对齐损失函数Ltotal表示为:其中,Lins为实例损失,Lid为行人身份损失,Lattr为属性级总损失,λins为实例损失权重,Nattr为有效属性数量。
6.如权利要求5所述的一种视觉-语言信息交互增益的行人重识别方法,其特征在于,所述属性级总损失Lattr由以下损失加权组成:其中,和分别为模态间对比损失和模态内对比损失的动态权重,为属性级三元组损失,λtri为三元组损失固定权重,q为属性集A中的属性单元。
7.如权利要求5所述的一种视觉-语言信息交互增益的行人重识别方法,其特征在于,所述实例损失Lins计算方式为:其中,SI2T为图像-文本相似度矩阵,为其转置矩阵,y为身份标签向量,CE(·)为交叉熵损失函数。