欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2025113417976
申请人: 湖南大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种人体动作的视觉捕捉与评价方法,其特征在于,包括:获取待评价的人体动作视频,并对所述人体动作视频,进行视频帧分解,得到多张单帧图像;

获取预先构建的第一Visual Transformer模型,其中,所述第一Visual Transformer模型被配置为从所述单帧图像中检测2D人体关节位置;

利用所述第一Visual Transformer模型,对每张所述单帧图像进行检测,得到每张所述单帧图像的2D人体关节位置;

根据每张所述单帧图像的2D人体关节位置,生成每张所述单帧图像对应的2D人体骨架;

获取预先构建的Transformer解码器,其中,所述Transformer解码器被配置为以所述2D人体骨架为输入,预测3D人体姿态数据,所述3D人体姿态数据包括3D人体关节位置、人体关节旋转角度、动作幅度、速度特征和身体整体姿态;

利用所述Transformer解码器,对每张所述单帧图像对应的所述2D人体骨架进行处理,得到每张所述单帧图像对应的3D人体姿态数据;

根据每张所述单帧图像对应的所述3D人体姿态数据,进行3D人体重建,得到每张所述单帧图像对应的3D人体模型;

将每张所述单帧图像对应的3D人体模型与设定的标准动作进行比对,得到比对结果,并根据所述比对结果,得到人体动作评分;

获取每张所述单帧图像对应的关节位置,其中,所述关节位置为所述2D人体关节位置或者所述3D人体关节位置;

获取预先构建的评语生成模型,其中,所述评语生成模型被配置为以所述关节位置为输入,输出人体动作评语,所述评语生成模型采用端到端的Transformer架构,包括:嵌入层、编码器位置编码器、编码器、解码器位置编码器、解码器和输出层;

利用所述评语生成模型,根据每张所述单帧图像对应的关节位置,生成人体动作评语。

2.如权利要求1中所述的方法,其特征在于,所述根据每张所述单帧图像对应的所述3D人体姿态数据,进行3D人体重建,得到每张所述单帧图像对应的3D人体模型,包括:根据每张所述单帧图像对应的所述3D人体姿态数据,利用SMPL模型进行3D人体重建,得到每张所述单帧图像对应的3D人体模型。

3.如权利要求1中所述的方法,其特征在于,还包括:

获取预先构建的MediaPipe Hands模型,其中,所述MediaPipe Hands模型被配置为从所述单帧图像中检测2D手部关节位置;

利用所述MediaPipe Hands模型,对每张所述单帧图像进行检测,得到每张所述单帧图像的2D手部关节位置;

获取预先构建的第二Visual Transformer模型,其中,所述第二Visual Transformer模型被配置为以所述2D手部关节位置为输入,预测手部旋转角度;

利用所述第二Visual Transformer模型,对每张所述单帧图像对应的所述2D手部关节位置进行处理,得到每张所述单帧图像对应的手部旋转角度;

将每张所述单帧图像对应的所述2D手部关节位置和所述手部旋转角度,与设定的标准手势动作进行比对,得到手势比对结果,并根据所述手势比对结果,得到手势动作评分。

4.如权利要求1中所述的方法,其特征在于,所述嵌入层用于:对每张所述单帧图像对应的关节位置,进行扁平化处理,得到扁平化坐标向量,其中,表示所述单帧图像的帧数;

根据所述扁平化坐标向量中每个关节对应的坐标向量,与每个关节对应的可学习嵌入向量进行逐元素相乘,得到第一嵌入向量;

根据所述扁平化坐标向量中每个关节对应的坐标向量,进行1维卷积计算,得到第二嵌入向量;

根据所述第一嵌入向量和所述第二嵌入向量,计算得到门控系数,计算公式为:;

式中,表示激活函数,表示权重矩阵,表示偏置项;

根据所述第一嵌入向量、所述第二嵌入向量和所述门控系数,计算得到每张所述单帧图像中每个关节对应的最终嵌入向量,计算公式为:。

5.如权利要求4中所述的方法,其特征在于,所述编码器位置编码器用于:采用旋转位置编码和相对位置编码,对每个所述最终嵌入向量进行位置编码,得到对应的第一位置编码;

所述编码器用于:

对每张所述单帧图像中每个关节对应的最终嵌入向量和对应的所述第一位置编码,进行处理,得到第一特征;

其中,所述编码器包括M层编码器层,其中,第1层到第L层的所述编码器层采用局部自注意力机制,第L+1层到第M层的所述编码器层采用全局多头自注意力机制。

6.如权利要求5中所述的方法,其特征在于,所述解码器位置编码器用于:采用旋转位置编码和相对位置编码,对每个所述第一特征进行位置编码,得到对应的第二位置编码;

所述解码器包括N层解码器层,其中,每层所述解码器层包括掩码自注意力层、交叉注意力层与前馈神经网络,所述解码器用于:对所述第一特征和对应的所述第二位置编码,进行全局平均池化,得到动作意图向量;

利用前K层的所述解码器层中的所述掩码自注意力层和所述前馈神经网络,根据所述动作意图向量和所述解码器的历史输出,生成评语大纲骨架;

利用后N-K层的所述解码器层中的所述掩码自注意力层、所述交叉注意力层和所述前馈神经网络,通过门控融合对所述评语大纲骨架和所述第一特征进行融合,得到所述解码器的输出向量。

7.如权利要求6中所述的方法,其特征在于,

所述输出层,用于将所述解码器的输出向量映射为人体动作评语。

8.一种人体动作的视觉捕捉与评价系统,其特征在于,包括:第一获取单元,用于获取待评价的人体动作视频,并对所述人体动作视频,进行视频帧分解,得到多张单帧图像;

第二获取单元,用于获取预先构建的第一Visual Transformer模型,其中,所述第一Visual Transformer模型被配置为从所述单帧图像中检测2D人体关节位置;

检测单元,用于利用所述第一Visual Transformer模型,对每张所述单帧图像进行检测,得到每张所述单帧图像的2D人体关节位置;

生成单元,用于根据每张所述单帧图像的2D人体关节位置,生成每张所述单帧图像对应的2D人体骨架;

第三获取单元,用于获取预先构建的Transformer解码器,其中,所述Transformer解码器被配置为以所述2D人体骨架为输入,预测3D人体姿态数据,所述3D人体姿态数据包括3D人体关节位置、人体关节旋转角度、动作幅度、速度特征和身体整体姿态;

处理单元,用于利用所述Transformer解码器,对每张所述单帧图像对应的所述2D人体骨架进行处理,得到每张所述单帧图像对应的3D人体姿态数据;

重建单元,用于根据每张所述单帧图像对应的所述3D人体姿态数据,进行3D人体重建,得到每张所述单帧图像对应的3D人体模型;

评价单元,用于将每张所述单帧图像对应的3D人体模型与设定的标准动作进行比对,得到比对结果,并根据所述比对结果,得到人体动作评分;

第六获取单元,用于获取每张所述单帧图像对应的关节位置,其中,所述关节位置为所述2D人体关节位置或者所述3D人体关节位置;

第七获取单元,用于获取预先构建的评语生成模型,其中,所述评语生成模型被配置为以所述关节位置为输入,输出人体动作评语,所述评语生成模型采用端到端的Transformer架构,包括:嵌入层、编码器位置编码器、编码器、解码器位置编码器、解码器和输出层;

评语生成单元,用于利用所述评语生成模型,根据每张所述单帧图像对应的关节位置,生成人体动作评语。