欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2023103174288
申请人: 湖南大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于遮挡感知和特征复原的遮挡行人重识别方法,其特征在于,包括:获取包含检索行人图像的测试数据集,并将所述检索行人图像输入预先训练得到的特征提取模型,获得所述检索行人图像的N个局部特征;

将N个所述局部特征输入预先训练得到的可见度感知模型,获得N个所述局部特征的局部可见度分数;

根据所述局部可见度分数,获取所述检索行人图像与图库中被检索行人图像之间的特征距离;

获取所述特征距离最小的K个所述被检索行人图像的可见局部特征,对所述检索行人图像的被遮挡局部特征进行补全;

根据补全后的检索行人图像的局部特征和局部可见度分数,重检索相似行人图像。

2.根据权利要求1所述的基于遮挡感知和特征复原的遮挡行人重识别方法,其特征在于,所述获取测试数据集之前,方法还包括:获取完整行人图像数据集;所述完整行人图像数据集包含多个未遮挡行人图像;

根据所述完整行人图像数据集模拟不同遮挡场景下的遮挡行人图像,并生成所述遮挡行人图像的局部遮挡标签;

根据所述完整行人图像数据集和模拟的所述遮挡行人图像,训练特征提取模型;所述特征提取模型用于获取行人图像的全局特征和局部特征;

根据所述局部特征和所述局部特征对应的局部遮挡标签,训练可见度感知模型;所述可见度感知模型用于获取行人图像的局部可见度分数。

3.根据权利要求2所述的基于遮挡感知和特征复原的遮挡行人重识别方法,其特征在于,所述根据完整行人图像数据集模拟不同遮挡场景下的遮挡行人图像,并生成遮挡行人图像的局部遮挡标签,包括:对所述完整行人图像数据集进行复制和乱序后,得到遮挡物数据集;

将所述完整行人图像数据集、所述遮挡物数据集中的行人图像分别标记为目标行人图像和遮挡物图像,并将所述目标行人图像和所述遮挡物图像纵向分为N个图像块;

从所述遮挡物图像中获取与每种遮挡场景对应的指定位置的所述图像块,标记为遮挡块后对所述目标行人图像进行覆盖,生成遮挡行人图像和对应每个所述图像块的局部遮挡标签。

4.根据权利要求3所述的基于遮挡感知和特征复原的遮挡行人重识别方法,其特征在于,所述遮挡场景包含行人遮挡行人场景和物体遮挡行人场景;

所述从所述遮挡物图像中获取与每种遮挡场景对应的指定位置的所述图像块,标记为遮挡块后对所述目标行人图像进行覆盖,包括:在行人遮挡行人场景下,从所述遮挡物图像中获取前N‑m个图像块,对所述目标行人图像的第m个到第N个图像块进行覆盖;

在物体遮挡行人场景下,将所述遮挡物图像中上下N/2部分的图像块进行换位后,选取随机数量的遮挡块对所述目标行人图像中相应位置的图像块进行覆盖。

5.根据权利要求2所述的基于遮挡感知和特征复原的遮挡行人重识别方法,其特征在于,所述根据所述完整行人图像数据集和模拟的所述遮挡行人图像,训练特征提取模型,包括:对完整行人图像数据集和模拟的遮挡行人图像进行合并,得到包含未遮挡行人图像和遮挡行人图像的训练数据集;

获取特征提取模型,所述特征提取模型包含骨干网络、全局平均池化分支和局部平均池化分支;

将所述未遮挡行人图像和所述遮挡行人图像输入特征提取模型,通过所述骨干网络获取行人图像的特征图,并通过所述全局平均池化分支对所述特征图进行池化操作,得到全局特征,以及通过所述局部平均池化分支对所述特征图进行纵向划分,得到N个图像块对应的N个局部特征;

根据所述全局特征、分类损失函数和三元组损失函数优化特征提取模型的参数,得到训练好的特征提取模型。

6.根据权利要求5所述的基于遮挡感知和特征复原的遮挡行人重识别方法,其特征在于,所述分类损失函数为:,

上式中, 为分类损失函数,为每批次训练的图像数量, 为输入的行人图像被分为 类的概率;

所述三元组损失函数表示为:

,

上式中, 为三元组损失函数,为锚点图像的全局特征,为正样本图像的全局特征,为负样本图像的全局特征, 为锚点图像与负样本图像之间的欧氏距离,为锚点图像与正样本图像之间的欧氏距离。

7.根据权利要求2所述的基于遮挡感知和特征复原的遮挡行人重识别方法,其特征在于,所述根据所述局部特征和所述局部特征对应的局部遮挡标签,训练可见度感知模型,包括:获取与每个所述图像块对应的可见度感知模型;所述可见度感知模型包含三层全连接层和激活函数层;

将每个所述图像块对应的局部特征输入所述可见度感知模型,通过所述激活函数层输出局部可见度分数;所述局部可见度分数为:,

上式中, 为所述可见度感知模型预测的图像中第 个图像块的局部可见度分数,为softmax激活函数, 为第 个可见度感知模型的权重, 为图像中第个图像块的局部特征;

利用所述局部可见度分数、局部遮挡标签和局部损失函数优化可见度感知模型的参数,得到训练好的可见度感知模型。

8.根据权利要求7所述的基于遮挡感知和特征复原的遮挡行人重识别方法,其特征在于,所述局部损失函数为:,

上式中, 为局部损失函数,为所述可见度感知模型批训练图像样本的数量, 为根据局部遮挡标签确定的第 个图像中第 个图像块的局部可见度分数, 为所述可见度感知模型预测的第 个图像中第 个图像块的局部可见度分数, 为交叉熵损失函数。

9.根据权利要求1所述的基于遮挡感知和特征复原的遮挡行人重识别方法,其特征在于,所述根据所述局部可见度分数,获取所述检索行人图像与图库中被检索行人图像之间的特征距离,包括:通过所述特征提取模型和所述可见度感知模型,获取图库中每个被检索行人图像的N个局部可见度分数;

将所述检索行人图像和所述图库中被检索行人图像的N个局部可见度分数输入基于可见度分数的特征距离模型,获取两个行人图像之间的特征距离;所述基于可见度分数的特征距离模型为:,

上式中, 为检索行人图像 与被检索行人图像 之间的特征距离, 为检索行人图像 中第 个图像块的局部可见度分数, 为被检索行人图像 中第 个图像块的局部可见度分数, 为检索行人图像 与被检索行人图像 中第 个图像块之间的欧式距离, 为图像块的数量。

10.根据权利要求1所述的基于遮挡感知和特征复原的遮挡行人重识别方法,其特征在于,所述获取所述特征距离最小的K个所述被检索行人图像的可见局部特征,对所述检索行人图像的被遮挡局部特征进行补全之后,还包括:获取补全后的检索行人图像的局部特征和局部可见度分数;其中,所述补全后的检索行人图像的局部特征为:,

上式中, 为补全后的检索行人图像的局部特征, 、 分别为检索行人图像 和第个被检索行人图像的第 个图像块的局部特征, 、 分别为检索行人图像 和第 个被检索行人图像的第 个图像块的局部可见度分数,为所述被检索行人图像的选取数量;

所述补全后的检索行人图像的局部可见度分数为:

,

上式中, 为补全后的检索行人图像中第 个图像块的局部可见度分数。