欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2023108075151
申请人: 南京邮电大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于异构图像协同增强的低分辨率人体姿态估计方法,其特征在于,包括如下步骤:S1:收集由高分辨率人体图像和低分辨率人体图像组成异构图像对来构建训练数据集;包括如下步骤:S1.1:从现有的人体图像数据集中,收集高分辨率人体图像和低分辨率人体图像,并使用VGG网络来提取图像特征,并保存为高、低分辨率人体特征库;

S1.2:通过计算高、低分辨率图像特征之间的相似度,为每一个低分辨率人体图像匹配最相关的高分辨率人体图像,从而构建[低分辨率人体图像ID,高分辨率人体图像ID]的索引列表用于训练;

S2:构建基于异构图像协同增强的低分辨率人体姿态估计网络模型;

所述网络模型包括骨干网络、姿态信息增强模块、细节信息增强模块和回归层;

骨干网络用于提取高分辨率图像和低分辨率图像的多尺度特征;

姿态信息增强模块用于为低分辨率图像特征提供关键点级别的语义指导来提高姿态相关的低分辨率图像特征质量;

细节信息增强模块用于在高分辨率图像特征和低分辨率图像特征间传输细节信息,从而重建出包含更多细节的低分辨率图像特征;

回归层将低分辨率图像的姿态信息增强特征和细节信息增强特征进行融合,并预测出最终的人体姿态估计结果;

S3:训练阶段,利用异构图像对训练所述网络模型,得到训练好的模型;

S4:测试阶段,使用训练数据集收集过程中得到的高分辨率人体特征库为待检测图像匹配最相关的高分辨率图像,一起输入训练好的网络模型,获得人体姿态估计结果。

2.根据权利要求1所述的一种基于异构图像协同增强的低分辨率人体姿态估计方法,其特征在于,所述骨干网络为基于CNN的网络,根据骨干网络提取高分辨率图像和低分辨率图像的多尺度特征的位置,将获取的多尺度特征划分为浅层特征、中间层特征和深层特征。

3.根据权利要求2所述的一种基于异构图像协同增强的低分辨率人体姿态估计方法,其特征在于,所述姿态信息增强模块由关键点特征提取单元和关键点级特征匹配重组单元组成,关键点特征提取单元将高分辨率图像的深层特征和热图标注处理得到关键点特征,关键点级特征匹配重组单元将关键点特征和低分辨率图像多尺度特征进行特征相似度匹配处理并重组得到姿态信息引导特征,通过将姿态信息引导特征和低分辨率图像特征进行拼接融合,得到姿态信息强化特征。

4.根据权利要求2所述的一种基于异构图像协同增强的低分辨率人体姿态估计方法,其特征在于,所述细节信息增强模块由块级特征匹配重组单元和特征对齐单元组成,块级特征匹配重组单元将高、低分辨率图像浅层特征块进行特征相似度匹配处理并重组得到细节信息补充特征,特征对齐单元将细节信息补充特征分布与低分辨率图像特征分布对齐,得到分布对齐的细节信息补充特征,通过将分布对齐的细节信息补充特征和低分辨率图像特征进行拼接融合,得到细节信息强化特征。

5.根据权利要求3所述的一种基于异构图像协同增强的低分辨率人体姿态估计方法,其特征在于,在训练阶段,所述姿态信息增强模块执行如下步骤:使用高分辨率图像的热力图标注作为掩码与其深层特征相乘,提取人体关键点特征;

通过对关键点特征与低分辨率图像的多尺度融合特征中每个像素位置的特征向量进行相似度匹配,从而得到相似度得分集合,进而筛选出每个像素位置最相关的关键点特征,生成索引图和置信图;

利用索引图将每个像素位置与相应的关键点特征关联来获得姿态信息引导特征,并利用置信图对姿态信息引导特征进行加权;

将加权后的姿态信息引导特征与低分辨率图像特征融合,提供姿态相关的引导信息,获得姿态信息强化特征。

6.根据权利要求4所述的一种基于异构图像协同增强的低分辨率人体姿态估计方法,其特征在于,在训练阶段,所述细节信息增强模块执行如下步骤:将高、低分辨率图像浅层特征统一至相同尺寸后,切割成相同大小的块;

在高、低分辨率图像特征块之间进行相似度匹配,为每一个低分辨率图像特征块匹配最相关的高分辨率图像特征块,从而得到对应的索引图和置信图;

将高分辨率图像特征块按照索引图来重新排列并合并,从而得到细节信息补充特征,并利用置信图对细节信息补充特征进行加权;

使用权重和偏差初始化为0的零卷积将细节信息补充特征与低分辨率图像浅层特征融合并计算出对应的残差均值和残差标准差;将残差均值和标准差与低分辨率图像浅层特征的均值和标准差相加,将得到的结果应用在细节信息补充特征上,以得到对齐细节信息补充特征;

将对齐细节信息补充特征和低分辨率图像浅层特征进行融合,得到细节信息更加丰富的细节信息增强特征。

7.根据权利要求1所述的一种基于异构图像协同增强的低分辨率人体姿态估计方法,其特征在于,步骤S4包含如下步骤:输入待检测的低分辨率图像;

使用训练数据集收集过程中得到的高分辨率人体特征库为待检测低分辨率图像匹配最相关的高分辨率图像;

将获得的高、低分辨率图像对输入到骨干网络,获得多尺度特征;

将高分辨率图像的深层特征和标注热力图以及低分辨率图像的多尺度融合特征输入到姿态信息增强模块,获得姿态信息增强特征;

将高、低分辨率图像的浅层特征输入到细节信息增强模块,获得细节信息增强特征;

将获得的姿态信息增强特征和细节信息增强特征输入到回归层得到预测的人体姿态估计结果。