欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2024118451485
申请人: 南京邮电大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于姿态蒸馏的低分辨率人体姿态估计方法,其特征在于,包括如下步骤:S1,构建成对的人体姿态估计数据集,包括高低分辨率成对的训练集,低分辨率验证集和测试集;

S2,获得预训练和微调后的预训练模型,作为姿态蒸馏中的教师模型;

S3,构建姿态蒸馏器,包括空间对齐层、轮廓解耦层、姿态编码层;

S4,构建低分辨率人体姿态检测模型即学生模型,包括神经网络计算层、各神经网络计算层的参数以及各神经网络计算层间的连接方式;

选择骨干网络模型,根据骨干网络的特性减少下采样的次数,以适应低分辨率图像;

S5,在成对的高低分辨率训练集上,使用姿态蒸馏器将教师模型的人体姿态特征在不同的尺度上分解并传递给学生模型,使学生模型能够在不同的层次上学习到人体姿态的全局和局部特征,从而提高其在低分辨率图像上的预测准确性;

S6,利用训练完成的低分辨率人体姿态估计模型进行人体姿态估计预测,得到人体姿态估计预测结果;

步骤S3包括如下步骤:

S3.1,构建空间对齐层,所述空间对齐层包括多个反卷积单元、卷积单元、RELU函数构成,用于降低高分辨率特征的空间维度,同时保留了特征的空间位置信息;

S3.2,构建轮廓解耦层,所述轮廓解耦层包含全局嵌套边缘检测层和多层感知机,全局嵌套边缘检测层用于从特征中提取人体轮廓信息,多层感知机用于对提取的人体轮廓特征进行去噪和优化,以降低背景噪声的干扰;

S3.3,构建姿态编码层,所述姿态编码层由多个线性卷积单元和非线性卷积单元堆叠而成,线性编码单元由多个1x1卷积和归一化操作构成用于提取人体姿态特征,非线性由多个1x1卷积、RELU激活函数和归一化操作生成多个尺度不同的人体姿态特征。

2.根据权利要求1所述的基于姿态蒸馏的低分辨率人体姿态估计方法,其特征在于:步骤S1包括如下步骤:S1.1,构建高低分辨率成对的训练集,所述训练集基于COCO数据集,包含了人体关键点的标注信息,对所述训练集的训练图像进行不同尺度的仿射变换,得到对应的高低分辨率图像和标注,然后对高低分辨率图像进行旋转、模糊、平移数据增强操作,以提高模型的泛化能力,形成最终的训练集;

S1.2,构建低分辨率图像验证集,所述验证集基于COCO数据集,对验证集中的验证图像进行不同尺度的仿射变换,得到低分辨率图像,用于验证模型的性能和效果;

S1.3,构建低分辨率图像测试集,所述测试集基于COCO数据集,对测试集中的测试图像进行不同尺度的仿射变换,得到低分辨率图像,用于测试模型的泛化能力和鲁棒性。

3.根据权利要求1所述的基于姿态蒸馏的低分辨率人体姿态估计方法,其特征在于:步骤S2包括如下步骤:选取HRNet-W32网络作为教师模型的骨干网络;

将网络在数据增强后的高分辨率训练集上进行微调,从而提高教师模型提取特征的泛化性。

4.根据权利要求1所述的基于姿态蒸馏的低分辨率人体姿态估计方法,其特征在于:对于一个高分辨率图像,经过HRNet-W32络,得到高分辨率的人体姿态特征;

通过步骤S3.1对特征进行空间对齐,具体包括如下步骤:

通过空间对齐层中的反卷积单元,将高分辨率的人体姿态特征在空间上放大4倍,同时将通道数减半,从而增大特征的空间尺度,为后续的轮廓提取操作做准备;

然后,通过空间对齐层中的卷积单元,对特征进行人体轮廓和边缘信息的重组,得到一个空间尺度合适和信息丰富的特征,表达式如下:其中是空间对齐层所获得的特征,是空间对齐层中的反卷积单元,CONV 是空间对齐层中的卷积单元;

通过卷积单元对特征进行轮廓特征提取,再通过RELU激活函数进行优化重组,得到高分辨率的细节特征,得到高分辨率的细节特征。

5.根据权利要求1所述的基于姿态蒸馏的低分辨率人体姿态估计方法,其特征在于:步骤S3.2用于对重组后的特征进行解耦,提取出完整且无噪声的人体轮廓特征,步骤S3.2具体包括如下步骤:轮廓解耦层中的全局嵌套边缘检测层对重组后的特征进行处理,首先利用VGG16骨干模型对重组后的特征进行特征提取得到不同尺度的特征,在将其送入对应的隐藏层,进行多尺度特征提取,从而获得多个空间结构信息更丰富的人体轮廓预测图,从而避免单一尺度和层次的问题, 表达式如下:其中,是指预测出的人体轮廓预测图,是指全局嵌套边缘检测层;

然后采用加权融合策略对所有的人体轮廓预测图进行线性叠加,得到一个更完善和精细的人体轮廓预测图,表达式如下:其中,是指预测出的人体轮廓预测图,表示将所获得的子特征拼接重组为一个全新的特征,表示拼接操作沿着通道维度进行融合;

最后,利用多层感知机对人体轮廓预测图进行降噪和优化,以降低背景噪声的影响,表达式如下:其中, 是多层感知机中优化后获得的人体轮廓预测图,MLP

6.根据权利要求1所述的基于姿态蒸馏的低分辨率人体姿态估计方法,其特征在于:姿态编码层对人体轮廓预测图进行编码优化,生成可用于引导学生模型的人体姿态特征,步骤S3.3具体包括如下步骤:姿态编码层利用线性变换矩阵对人体轮廓预测图的每个像素点进行低维特征映射,从而获取并增强人体姿态特征;

然后利用非线性卷积单元对人体姿态特征进行多尺度变换,生成不同层次的姿态特征,表达式如下:其中,是姿态编码层编码后获得的姿态特征,为线性卷积单元,为非线性卷积单元。

7.根据权利要求1所述的基于姿态蒸馏的低分辨率人体姿态估计方法,其特征在于:步骤S5包括如下步骤:定义教师模型输出的特征为,学生模型输出特征,训练过程采用KL散度进行引导学生模型学习,引导过程为:,其中, 是一个超参数,控制教师网络和学生网络的软信号输出;

具体步骤S5包括如下步骤:

训练集中随机选取一对高低分辨率图像,分别用教师模型和学生模型提取特征;

姿态蒸馏器从教师模型的特征中解耦出多尺度的姿态特征,并用大尺度的特征引导学生模型的浅层感知;

同时用小尺度的特征引导学生模型的深层感知,提升学生模型在低分辨率下的预测性能和鲁棒性;

最后,使用MSELOSS损失函数衡量预测结果和标注之间的差距,并优化模型的参数,从而得到训练完成的低分辨率人体姿态估计模型;

MSE定义为: 其中,是样本数量,是真实值,是模型预测值。

8.一种计算机可读存储介质,存储有计算机程序,其特征在于,所述计算机程序被处理器执行时,使得所述处理器执行如权利要求1至7中任一项所述方法的步骤。

9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述计算机程序被所述处理器执行时,使得所述处理器执行如权利要求1至7中任一项所述方法的步骤。