1.一种基于跨相机通道信息交互和时空语义感知的无监督行人重识别方法,其特征在于包括以下步骤:
S1:获取无监督行人重识别数据集,并将其输入到搭建的模型中;
S2:在跨相机联合学习框架中,同时提取相机内的局部特征和跨相机的全局特征,生成在相机内外一致的特征表示,结合局部和全局特征,捕捉跨相机特征分布的依赖关系,生成伪标签;
S3:在多尺度通道交互注意力模块中,通过建模通道间的关系优化特征表达,关注身份相关特征的区分度并抑制背景干扰;
所述的多尺度通道交互注意力模块包括通道分组、通道混洗、多尺度通道交互分支和多尺度空间分支;多尺度通道交互分支使用多尺度卷积进行多尺度分支间通道信息的交互,每个通道结合来自其他通道的信息;多尺度空间分支使用多尺度卷积与空间注意力机制结合,有效整合不同感受野的空间信息,增强模型对行人局部关键区域和全局特征分布的感知能力;最后,使用通道混洗进行所有通道间关系的建模与交互;
S4:使用时空标签惩罚机制,结合时间信息赋予样本更加细致的标签分布;
所述的时空标签惩罚机制包括相机内时间约束和相机间时间与编号约束,通过结合两种约束生成最终匹配置信度;使用相机内时间约束,对于属于同一相机的行人,根据伪时间戳的接近程度,调整其匹配置信度;使用相机间时间与编号约束,对于来自不同相机的行人,根据时间间隔和相机编号信息,调整其匹配置信度;综合相机内和相机间约束,生成最终匹配置信度,将匹配置信度融入伪标签生成过程,优化标签分布;
S5:通过设计损失函数迭代调整网络参数以优化模型性能;
S6:在每个训练阶段中,将查询的行人图像与图像库中的行人图像进行相似性比较,查找同一行人的图像。
2.根据权利要求1所述的基于跨相机通道信息交互和时空语义感知的无监督行人重识别方法,其特征在于整体结构包括,包含了跨相机联合学习框架;包含了主干网络和多尺度通道交互注意力模块;包含了时空标签惩罚机制。
3.根据权利要求1所述的基于跨相机通道信息交互和时空语义感知的无监督行人重识别方法,其特征在于,所述的跨相机联合学习框架包含了相机内局部特征提取分支和跨相机全局特征提取分支;跨相机全局特征提取分支针对所有相机的输入图像以及分割后的图像进行特征提取,生成全局特征;相机内局部特征提取分支对每个相机中的行人图像进行特征提取;根据提取的特征对样本进行聚类生成伪标签。
4.根据权利要求1所述的基于跨相机通道信息交互和时空语义感知的无监督行人重识别方法,其特征在于,所述的多尺度通道交互分支分别通过1x1卷积和3x3卷积的多尺度卷积操作和通道交互模块对通道特征进行编码,获取通道间的关系。
5.根据权利要求4所述的基于跨相机通道信息交互和时空语义感知的无监督行人重识别方法,其特征在于,所述的通道交互模块包括分割、平均池化、GN、Sigmoid、矩阵相乘、拼接和元素级相加。
6.根据权利要求1所述的基于跨相机通道信息交互和时空语义感知的无监督行人重识别方法,其特征在于,所述的多尺度空间分支分别通过1x1卷积和3x3卷积的多尺度卷积操作和空间注意力模块增强模型对行人局部关键区域和全局特征分布的感知能力,包括GN、ReLU、Sigmoid和元素级相加。
7.根据权利要求1所述的基于跨相机通道信息交互和时空语义感知的无监督行人重识别方法,其特征在于,所述的损失函数通过使用交叉熵损失和三元组损失进行计算,并使用其得到的结果进行伪标签生成的训练。