欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2020108470053
申请人: 暨南大学
专利类型:发明专利
专利状态:未下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于卷积神经网络的人体动作姿态智能估计方法,其特征在于,包括:

将待进行动作姿态估计的人体图像输入到训练好的人体检测模型中进行处理,得到所述人体图像的人物个体检测结果;

将所述人物个体检测结果输入到训练好的全局估计模型中进行处理,得到不同尺度的人体关键点的第一特征图;

将所述第一特征图输入到训练好的补充精调模型中进行处理,通过加强学习得到不同尺度的人体关键点的第二特征图;所述补充精调模型中包括多个特征提取分支,每个特征提取分支中设置数量不同的精调模块,通过各特征提取分支的精调模块加强学习;

基于所述不同尺度的人体关键点的第二特征图,得到人体姿态估计结果;

所述通过精调模块加强学习,包括:

所述精调模块的输入为上一层特征图,对所述特征图进行多次先进行规范化处理、再进行激活、后进行卷积特征提取的处理方式,将提取得到的特征图与所述上一层特征图相加后,输出精调后的特征图;

其中,当所述特征提取分支上设置一个精调模块时,该精调模块输入的上一层特征图为所述第一特征图;

当所述特征提取分支上设置一个以上的精调模块时,第一个精调模块输入的上一层特征图为所述第一特征图,第一个精调模块输出的精调后的特征图作为下一个精调模块的输入。

2.根据权利要求1所述的人体动作姿态智能估计方法,其特征在于,所述精调模块包括残差分支,其中,残差分支上设置有依次连接的第一归一化层、第一激活层、第一卷积层、第二归一化层、第二激活层、第二卷积层、第三归一化层、第三激活层、第三卷积层;

所述精调模块还包括相加层,用于对经过残差分支处理后输出的特征图和输入精调模块的特征图相加,以输出精调后的特征图。

3.根据权利要求1所述的人体动作姿态智能估计方法,其特征在于,所述补充精调模型中,通过各特征提取分支的精调模块加强学习之后,还包括:对每个特征提取分支输出的精调后的特征图依次进行压缩、激励和整合操作,其中压缩操作通过全局平均池化压缩不同通道上的特征图以获得全局特征,激励操作通过将学习得到的非线性依赖关系来对不同通道赋予相应的权重系数,整合操作将压缩操作、激励操作的结果整合到所述精调后的特征图中,以对所述精调后的特征图进行重新标定,输出所述人体关键点的第二特征图。

4.根据权利要求1所述的人体动作姿态智能估计方法,其特征在于,所述人体检测模型、全局估计模型和补充精调模型依次连接,构成基于卷积神经网络的人体动作姿态智能估计模型;所述估计模型采用反向传播算法进行训练,训练时的目标函数由两个子项组成,第一项为所述估计模型输出的人体姿态估计结果与真实标记的人体姿态之间的损失函数值,通过两者的欧式距离评估所述估计模型预测的性能;第二项为所述人体姿态估计结果与真实标记的人体姿态之间的形状距离项,通过形状相似性度量两者在人体关键点形状分布上的相似性。

5.根据权利要求1所述的人体动作姿态智能估计方法,其特征在于,所述人体检测模型中对人体图像进行处理的过程包括:对人体图像进行多尺度特征图提取与融合,并分别对不同尺度的特征图采用不同大小的锚框生成候选框,将候选框映射到相应层级的特征层上,经过池化处理,然后分成两条支路,每条支路分别进行分类与回归处理,最终得到表示人物个体检测结果的人体候选框。

6.根据权利要求1所述的人体动作姿态智能估计方法,其特征在于,所述全局估计模型中对人物个体检测结果进行处理的过程包括:将人体候选框填充到原始人体图像大小,将填充后的图像利用特征金字塔提取不同尺度的特征图,并对每个尺度的特征图进行卷积处理消除混叠效应,得到所述第一特征图。

7.一种基于卷积神经网络的人体动作姿态智能估计装置,其特征在于,包括:

人物个体检测模块,用于将待进行动作姿态估计的人体图像输入到训练好的人体检测模型中进行处理,得到所述人体图像的人物个体检测结果;

全局估计模块,用于将所述人物个体检测结果输入到训练好的全局估计模型中进行处理,得到不同尺度的人体关键点的第一特征图;

补充精调模块,用于将所述第一特征图输入到训练好的补充精调模型中进行处理,通过加强学习得到不同尺度的人体关键点的第二特征图;所述补充精调模型中包括多个特征提取分支,每个特征提取分支中设置数量不同的精调模块,通过各特征提取分支的精调模块加强学习;

姿态估计模块,用于对于不同尺度的所述第二特征图进行尺度调整、合并与精调处理,得到人体姿态估计结果。

8.一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,处理器执行计算机程序时实现根据权利要求1‑6中任一方法的步骤。

9.一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,其特征在于,计算机程序被处理器执行时实现根据权利要求1‑6中任一方法的步骤。