欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2024105341608
申请人: 南京信息工程大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种模态不平衡特征转换跨模态行人重识别方法,其特征在于,包括如下步骤:S1、构建行人图像样本集并预处理,包括成对的行人可见光图像样本、红外图像样本,以及对应的行人身份标签;

S2、分别以成对的行人可见光图像、以及红外图像的行人图片为输入,对应的全局可见特征、以及全局红外特征为输出构建双流特征提取网络,双流特征提取网络包括四个阶段,在第三阶段和第四阶段之间插入模态一致性感知模块MCP优化深层网络参数,并用最大平均差异损失来约束,促进特征优化;

S3、分别以全局可见特征、以及全局红外特征为输入,对应的转换后的可见光特征、以及转换后的红外特征为输出构建特征转移网络,特征转移网络对全局可见特征、以及全局红外特征分别按照批次大小分组,利用跨模态样本重新分配策略将分组后的全局可见特征、以及全局红外特征重新连接,经过模态不平衡特性交互模块CIFIM,得到转换后的可见光特征、以及转换后的红外特征,进一步得到最终转换的特征;

S4、分别以最终转换的特征为输入,行人对应的标签为输出构建度量学习网络,并通过特征重构差异损失、以及联合身份和联合圆损失最大化相同模态特征之间的距离和最小化不同模态特征的距离;

S5、以顺序连接的双流特征提取网络、特征转移网络、度量学习网络构建行人重识别神经网络,利用行人图像样本集训练行人重识别神经网络得到行人重识别模型,利用行人重识别模型实现对采集的行人图片的识别结果。

2.根据权利要求1所述的一种模态不平衡特征转换跨模态行人重识别方法,其特征在于,步骤S2中,双流特征提取网络的第一阶段、以及第二阶段为结构相同的双分支结构,第一分支第一阶段以行人可见光图像模态特征样本

3.根据权利要求2所述的一种模态不平衡特征转换跨模态行人重识别方法,其特征在于,双流特征提取网络的第三阶段用于接收第一分支第二阶段输出的浅层可见光图像模态特征,以及第二分支第二阶段输出的浅层红外图像模态特征,并进行融合得到特征

4.根据权利要求3所述的一种模态不平衡特征转换跨模态行人重识别方法,其特征在于,模态一致性感知模块MCP,被配置执行如下动作:S201、将特征

S202、将垂直和水平方向的投影特征进行特征融合,然后利用线性卷积来降低特征通道的维数,并进一步捕获不同通道维数下两种模态的重要信息,得到权重矩阵,如下式:其中,

S203、进一步对特征进行融合,突出重要特征,抑制次要特征,得到最终融合特征

5.根据权利要求4所述的一种模态不平衡特征转换跨模态行人重识别方法,其特征在于,第四阶段利用最大平均差异损失其中,

6.根据权利要求5所述的一种模态不平衡特征转换跨模态行人重识别方法,其特征在于,步骤S3中,跨模态样本重新分配策略具体包括如下子步骤:S3A-1、针对双流特征提取网络输出的全局可见特征其中

S3A-2、将

7.根据权利要求6所述的一种模态不平衡特征转换跨模态行人重识别方法,其特征在于,步骤S3中,模态不平衡特性交互模块CIFIM被配置执行如下动作:S3B-1、将任何一组全局可见特征

S3B-2、分别将

其中,

S3B-3、利用跨模态矩阵法进行跨模态交互并进行模态补偿,如下式:其中,

S3B-4、利用softmax和dropout层克服过拟合,增强模型对未知数据的泛化能力,增强模态补偿,使用权重矩阵通过下式计算特征相似性:每一组经过模态不平衡特性交互模块CIFIM的转变后的特征表示为:其中,

S3B-5、分别将每个模态分组的交互信息相融合得到转换后的红外特征:S3B-6、将任何一组全局红外特征

S3B-7、分别将

S3B-8、利用跨模态矩阵法进行跨模态交互并进行模态补偿,如下式:其中,

S3B-9、用softmax和dropout层克服过拟合,增强模型对未知数据的泛化能力,增强模态补偿,使用权重矩阵通过下式计算特征相似性:每一组经过模态不平衡特性交互模块CIFIM的转变后的特征表示为:S3B-10、分别将每个模态分组的交互信息相融合得到转换后的可见光特征:S3B-11、基于

8.根据权利要求7所述的一种模态不平衡特征转换跨模态行人重识别方法,其特征在于,步骤S4中,特征重构差异损失是其中,

双对准均方误差损失如下式:

其中,

9.根据权利要求8所述的一种模态不平衡特征转换跨模态行人重识别方法,其特征在于,步骤S4中,联合联合身份和联合圆损失如下式:其中,身份损失为