欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 202310598749X
申请人: 浙江工业大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2023-12-11
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于特征交集的跨模态行人重识别方法,其特征在于,所述基于特征交集的跨模态行人重识别方法,包括:步骤1、将给定的图像集按模态分为自然光图像集和红外图像集;

步骤2、构建双流重识别模型,所述双流重识别模型包括两个分支,两个分支分别用于处理自然光图像和红外图像,两个分支的主干网络均为Resnet‑50网络,两个分支中的Resnet‑50网络的第一层为独立参数、其余层为共享参数;

步骤3、将自然光图像集和红外图像集作为所述双流重识别模型的输入,取Resnet‑50网络最后三层输出的行人特征图进行融合,得到两个分支分别输出的融合特征图;

步骤4、将每个分支的融合特征图输入层级式局部池化模块提取行人多尺度的细节特征,并对所述细节特征进行语义约束;

步骤5、根据两个分支的细节特征构建特征交集损失,并结合语义约束和特征交集损失进行双流重识别模型训练,所述特征交集损失包括模态特征交集损失和类间特征交集损失;

步骤6、将一个自然光图像或红外图像作为查询图像,将一个红外图像库或自然光图像库作为目标图像库,将所述查询图像和所述目标图像库中的每一候选图像组成图像对,利用训练后的双流重识别模型以及层级式局部池化模块,针对每一图像对输出细节特征对,度量每一细节特征对的相似度,取相似度递减排序后的前一个或多个细节特征对对应的图像对,所取的图像对中的候选图像作为跨模态行人重识别结果。

2.如权利要求1所述的基于特征交集的跨模态行人重识别方法,其特征在于,所述取Resnet‑50网络最后三层输出的行人特征图进行融合,包括:记一个分支中Resnet‑50网络最后三层输出的行人特征图为 ;

将行人特征图 直接作为融合特征图 ;

将融合特征图 经过 卷积和上采样后与行人特征图 点加,得到点加特征图,并将点加特征图经过 卷积得到融合特征图 ;

将点加特征图经过 卷积和上采样后与行人特征图 点加,并在点加后经过卷积得到融合特征图 。

3.如权利要求1所述的基于特征交集的跨模态行人重识别方法,其特征在于,所述将每个分支的融合特征图输入层级式局部池化模块提取行人多尺度的细节特征,包括:将每张融合特征图沿垂直方向均分为一份或多份,并将均分后得到的每一份经过全局池化层得到融合特征图中行人对应位置的细节特征。

4.如权利要求3所述的基于特征交集的跨模态行人重识别方法,其特征在于,所述对所述细节特征进行语义约束,包括:取细节特征包括局部细节特征 和全局细节特征 ,

,为自然光标识,为红外标识,为融合特征图中均分为多份得到的总份数;

对局部细节特征 和全局细节特征 采用ID损失进行表征语义约束,ID损失形式化如下:;

式中, 为局部细节特征 的ID损失, 为全局细节特征 的ID损失,为自然光图像集中图像数量, 为红外图像集中图像数量, 和 表示第 张图像的细节特征和 , 表示第 张图像对应的标签, 为局部分类器, 为全局分类器, 为局部分类器 的参数, 为全局分类器 的参数, 表示局部分类器 输出的预测概率, 表示全局分类器 输出的预测概率。

5.如权利要求1所述的基于特征交集的跨模态行人重识别方法,其特征在于,所述根据两个分支的细节特征构建特征交集损失,包括:取细节特征包括局部细节特征 和全局细节特征 ,

,为自然光标识,为红外标识,为融合特征图中均分为多份得到的总份数;

首先构建自然光和红外两种模态下对应的ID损失形式化为:;

式中, 为自然光图像集的ID损失, 为红外图像集的ID损失,为自然光图像集中图像数量, 为红外图像集中图像数量, 为自然光分类器 的参数, 为红外分类器的参数, 表示第 张自然光图像的细节特征 , 表示第 张红外图像的细节特征 , 为自然光分类器 输出的预测概率,为红外分类器 输出的预测概率,对于类间交集,使用参数为 的分类器 ;

然后构建模态特征交集损失形式化为:

式中, 为自然光特征交集损失, 为红外特征交集损失,为行人类别数,为margin值,参数 , 和 均包含 行, 表示权重参数 中的第 行权重参数, 表示权重参数 中的第 行权重参数, 表示矩阵转置, 表示以权重参数 为中心,根据特征间相似度选择红外图像对应的细节特征距离中心最远的正样本, 表示以权重参数 为中心,根据特征间相似度选择红外图像对应的细节特征距离中心最近的负样本, 表示以权重参数 为中心,根据特征间相似度选择自然光图像对应的细节特征距离中心最远的正样本, 表示以权重参数 为中心,根据特征间相似度选择自然光图像对应的细节特征距离中心最近的负样本;

构建类间特征交集损失形式化为:

式中, 为类间特征交集损失, 为表示参数 中的第 行权重参数, 表示以参数 为中心根据特征间相似度选择全局细节特征距离中心最近的负样本, 表示以参数 为中心根据特征间相似度选择全局细节特征距离中心最远的正样本;

最终得到特征交集损失形式化为:

式中, 为特征交集损失。

6.如权利要求5所述的基于特征交集的跨模态行人重识别方法,其特征在于,所述结合语义约束和特征交集损失进行双流重识别模型训练,包括构建总损失函数如下:;

式中,为总损失函数, 为语义约束中局部细节特征 的ID损失, 为语义约束中全局细节特征 的ID损失。

7.如权利要求5所述的基于特征交集的跨模态行人重识别方法,其特征在于,所述度量每一细节特征对的相似度,包括:所述细节特征包括局部细节特征和全局细节特征,在度量每对细节特征的相似度时,首先将每个细节特征中的局部细节特征和全局细节特征沿通道拼接,然后基于拼接后的一对特征计算得到相似度。