欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2025104376854
申请人: 华侨大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于知识蒸馏的轻量级人体姿态估计方法,其特征在于,包括如下步骤:S1,构建人体视频初始数据集,对数据集进行标记;

S2,构建用于人体姿态估计的教师模型和学生模型;

S3,使用标记的数据集对教师模型进行训练,利用训练好的教师模型对学生模型进行指导训练,得到训练好的学生模型;所述指导训练包括特征蒸馏阶段和逻辑蒸馏阶段;所述特征蒸馏基于学生模型的中间特征图和剪枝后的教师模型中间特征图;所述逻辑蒸馏基于教师模型和学生模型的逻辑输出;

所述剪枝后的教师模型中间特征图的获取过程具体如下:

对教师模型中同一批次的中间特征图按通道进行切片,计算每个通道内所有中间特征图秩的平均值,以平均值表示该通道特征图的秩值;

对每层特征图的秩值进行排序,按照秩值排序结果将中间特征图划分为保留集和裁剪集,保留集存放高秩特征图,裁剪集存放低秩特征图;保留集即为剪枝后的教师模型中间特征图;

S4,获取人体视频数据,将人体视频数据输入训练好的学生模型进行人体姿态估计;

特征蒸馏阶段的损失函数为通道关联信息损失,具体如下:

对剪枝后的教师模型中间特征图进行展开,得到教师模型关联矩阵;对学生模型的中间特征图进行展开,生成学生模型关联矩阵;

基于教师模型关联矩阵和学生模型关联矩阵构建L2约束,获得通道关联信息损失;通道关联信息损失表示为:其中,Lcc表示通道关联信息损失;表示调整维数后的学生模型关联矩阵;表示教师模型的关联矩阵;FS表示学生模型的中间特征图;FT表示教师模型剪枝后的中间特征图;c表示教师模型的通道数;表示L2距离平方;Cl用于调整学生模型的特征维数以匹配教师模型特征的通道数;G表示ICC矩阵;

所述教师模型和学生模型逻辑输出使用simcc算法进行姿态关键点预测,将人体姿态估计任务分解为水平坐标和垂直坐标的独立分类任务;

所述逻辑蒸馏阶段的损失函数为逻辑蒸馏损失;所述逻辑蒸馏损失结合原始损失、分布损失和软损失;所述分布损失使学生模型学习教师模型的非目标知识;所述软损失使学生模型学习教师模型的目标知识;所述原始损失为学生模型的交叉熵损失。

2.根据权利要求1所述的基于知识蒸馏的轻量级人体姿态估计方法,其特征在于,所述逻辑蒸馏损失表示为:其中,Lnewlogit表示逻辑蒸馏损失;α表示平衡损失的超参数;N表示一批次样本的数量;K表示关键点总数;L表示水平坐标x或垂直坐标y方向上定位区域的长度;表示教师模型非目标单元格得分;表示学生模型非目标单元格得分;Tt表示教师模型对目标单元格的预测得分;St表示学生模型对目标单元格的预测得分;t表示目标单元格;i表示第i个单元格。

3.根据权利要求1所述的基于知识蒸馏的轻量级人体姿态估计方法,其特征在于,所述分布损失表示为:其中,Ldistributed表示分布损失;N表示一批次样本的数量;K表示关键点总数;L表示水平坐标x或垂直坐标y方向上定位区域的长度;t表示目标单元格;表示教师模型非目标单元格得分;表示学生模型非目标单元格得分;i表示第i个单元格;Ti表示教师模型对第i个单元格的预测得分;Tt表示教师模型对目标单元格的预测得分;Si表示学生模型对第i个单元格的预测得分;St表示学生模型对目标单元格的预测得分。

4.根据权利要求1所述的基于知识蒸馏的轻量级人体姿态估计方法,其特征在于,所述软损失表示为:Lsoft=-Ttlog(St);

其中,Lsoft表示软损失;Tt表示教师模型对目标单元格的预测得分;St表示学生模型对目标单元格的预测得分;t表示目标单元格。

5.根据权利要求1所述的基于知识蒸馏的轻量级人体姿态估计方法,其特征在于,学生模型的总损失函数表示为:Ltol=Lnewlogit+Lcc;

其中,Ltol表示总损失函数;Lcc表示通道关联信息损失;Lnewlogit表示逻辑蒸馏损失。

6.一种使用权利要求1-5中任一项基于知识蒸馏的轻量级人体姿态估计方法的基于知识蒸馏的轻量级人体姿态估计装置,包括如下:数据集构建与标记模块,用于构建人体视频初始数据集,对数据集进行标记;

模型构建模块,用于构建用于人体姿态估计的教师模型和学生模型;

蒸馏训练模块,使用标记的数据集对教师模型进行训练,利用训练好的教师模型对学生模型进行指导训练,得到训练好的学生模型;所述指导训练包括特征蒸馏阶段和逻辑蒸馏阶段;所述特征蒸馏基于学生模型的中间特征图和剪枝后的教师模型中间特征图;所述逻辑蒸馏基于教师模型和学生模型的逻辑输出;

所述剪枝后的教师模型中间特征图的获取过程具体如下:

对教师模型中同一批次的中间特征图按通道进行切片,计算每个通道内所有中间特征图秩的平均值,以平均值表示该通道特征图的秩值;

对每层特征图的秩值进行排序,按照秩值排序结果将中间特征图划分为保留集和裁剪集,保留集存放高秩特征图,裁剪集存放低秩特征图;保留集即为剪枝后的教师模型中间特征图;

人体姿态估计模块,用于获取人体视频数据,将人体视频数据输入训练好的学生模型进行人体姿态估计。