欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2022115311648
申请人: 湖南工商大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-05-29
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于人体姿态估计的健身动作识别方法,其特征在于,包括:

获取视频流,并基于视频流提取人体关键点数据;

将所述人体关键点数据输入到训练好的健身动作分类网络中进行动作识别,得到动作分类结果,其中,所述动作分类结果包括至少一组识别动作数据和所述识别动作数据对应的类别,所述训练好的健身动作分类网络为多层神经网络MLP与长短时记忆神经网络LSTM的叠加神经网络;

获取预设的标准健身动作字典,并针对每个所述识别动作数据,将所述识别动作数据与所述标准健身动作字典中对应类别的标准动作数据进行相似度计算,得到相似度值;

基于每组所述识别动作数据对应的相似度值,进行健身动作质量评估,得到质量评估结果;

其中,所述基于视频流提取人体关键点数据包括:

采用目标检测算法,对所述视频流中的视频帧依次进行人体检测;

针对每个视频帧,若检测到人体,则采用人体姿态追踪算法,对检测到的人体进行姿态估计,得到预设区域和预设数量的人体关键点坐标,并将预设数量的人体关键点坐标进行序列化处理,得到初始坐标序列,其中,人体姿态追踪算法采用改进的BlazeDark算法,所述改进的BlazeDark算法包括heatmap编码模块、特征提取模块、上采样模块、heatmap解码模块以及输出模块,所述上采样模块由三层上采样层构成,用于对由特征提取层生成的特征图进行上采样,并使用跳跃连接获取特征提取模块中的高分辨率特征,用于还原图片的分辨率,所述heatmap编码模块用于在网络的训练过程中,对于输入的包含人体的图片,对图片中的人体关键点对应的像素位置,利用二维高斯分布的方法对关键点及其周围像素点生成二维高斯分布;所述特征提取模块由若干带有通道注意力机制的MobileBottleNeck卷积块和BlazeBlock卷积块堆叠而成,用于提取输入图片中的深层语义特征;所述heatmap解码模块对预测得到的heatmap结果,利用对数似然估计和二阶泰勒展开得到关键点在图片中的位置坐标,并将其还原到原始输入图片中,得到模型的预测结果;

对所述初始坐标序列进行居中化处理,得到目标坐标序列,并将所述目标坐标序列作为所述人体关键点数据。

2.如权利要求1所述的基于人体姿态估计的健身动作识别方法,其特征在于,所述预设区域和预设数量的人体关键点坐标包括臀部区域的两个坐标,所述对所述初始坐标序列进行居中化处理,得到目标坐标序列包括:计算所述初始坐标序列中臀部区域的两个坐标的均值,作为人体的中心坐标;

针对所述初始坐标序列中的每个人体关键点坐标,将所述人体关键点坐标的坐标值均减去所述人体的中心坐标的坐标值,得到修正后的坐标值;

将所述修正后的坐标值构建的序列作为所述目标坐标序列。

3.如权利要求1所述的基于人体姿态估计的健身动作识别方法,其特征在于,所述预设数量为17,所述将所述识别动作数据与所述标准健身动作字典中对应类别的标准动作数据进行相似度计算,得到相似度值,包括:采用如下公式,计算相似度值cos(θ):

其中,

4.如权利要求3所述的基于人体姿态估计的健身动作识别方法,其特征在于,所述基于每组所述识别动作数据对应的相似度值,进行健身动作质量评估,得到质量评估结果包括:采用如下公式,对所述相似度值进行归一化,得到归一化:

其中,score为归一化分数;

基于所述归一化分数确定质量评估结果。

5.如权利要求1至4任一项所述的基于人体姿态估计的健身动作识别方法,其特征在于,在将所述人体关键点数据输入到训练好的健身动作分类网络中进行动作识别,得到动作分类结果之后,所述基于人体姿态估计的健身动作识别方法还包括:获取所述动作分类结果中的类别对应的动作关注区域,作为目标区域,动作关注区域与类别之间预先设置有映射关系;

针对所述类别对应的每个视频帧,根据所述视频帧中人体关键点数据,计算所述目标区域的关节角度;

根据每个所述目标区域的关节角度,生成所述目标区域的可视化波动曲线,所述可视化波动曲线用以展示健身完成度。

6.如权利要求5所述的基于人体姿态估计的健身动作识别方法,其特征在于,所述类别为深蹲动作类别,所述根据所述视频帧中人体关键点数据,计算所述目标区域的关节角度包括:识别视频帧中膝关节区域,作为目标区域;

将所述目标区域范围内的人体关键点作为关节点,采用如下公式计算关节角度:

其中,Angle为关节角度,P

7.一种基于人体姿态估计的健身动作识别装置,其特征在于,所述基于人体姿态估计的健身动作识别装置包括:数据提取模块,用于获取视频流,并基于视频流提取人体关键点数据;

识别分类模块,用于将所述人体关键点数据输入到训练好的健身动作分类网络中进行动作识别,得到动作分类结果,其中,所述动作分类结果包括至少一组识别动作数据和所述识别动作数据对应的类别,所述训练好的健身动作分类网络为多层神经网络MLP与长短时记忆神经网络LSTM的叠加神经网络;

相似度计算模块,用于获取预设的标准健身动作字典,并针对每个所述识别动作数据,将所述识别动作数据与所述标准健身动作字典中对应类别的标准动作数据进行相似度计算,得到相似度值;

质量评估模块,用于基于每组所述识别动作数据对应的相似度值,进行健身动作质量评估,得到质量评估结果;

其中,所述数据提取模块包括:

采用目标检测算法,对所述视频流中的视频帧依次进行人体检测;

针对每个视频帧,若检测到人体,则采用人体姿态追踪算法,对检测到的人体进行姿态估计,得到预设区域和预设数量的人体关键点坐标,并将预设数量的人体关键点坐标进行序列化处理,得到初始坐标序列,其中,人体姿态追踪算法采用改进的BlazeDark算法,所述改进的BlazeDark算法包括heatmap编码模块、特征提取模块、上采样模块、heatmap解码模块以及输出模块,所述上采样模块由三层上采样层构成,用于对由特征提取层生成的特征图进行上采样,并使用跳跃连接获取特征提取模块中的高分辨率特征,用于还原图片的分辨率,所述heatmap编码模块用于在网络的训练过程中,对于输入的包含人体的图片,对图片中的人体关键点对应的像素位置,利用二维高斯分布的方法对关键点及其周围像素点生成二维高斯分布;所述特征提取模块由若干带有通道注意力机制的MobileBottleNeck卷积块和BlazeBlock卷积块堆叠而成,用于提取输入图片中的深层语义特征;所述heatmap解码模块对预测得到的heatmap结果,利用对数似然估计和二阶泰勒展开得到关键点在图片中的位置坐标,并将其还原到原始输入图片中,得到模型的预测结果;

对所述初始坐标序列进行居中化处理,得到目标坐标序列,并将所述目标坐标序列作为所述人体关键点数据。

8.一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述的基于人体姿态估计的健身动作识别方法。

9.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的基于人体姿态估计的健身动作识别方法。