欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2022111494512
申请人: 南通大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于单目视觉的3D人体姿态检测方法,其特征在于,包括以下步骤:

步骤1、使用YOLOX模型检测输入图像中存在的人,并获得相应的人物检测框;

步骤2、计算人物检测框中心点坐标,然后放大检测出的人物,获得新的人物图像;

步骤3、在获得的新人物图像中提取2D人体关节点坐标序列;

步骤4、构建回归映射神经网络将2D人体关节点坐标序列转换为3D人体关节点坐标序列;

步骤4.1、使用核大小为3的常规一维卷积提取输入的2D人体关节点坐标序列的特征;

步骤4.2、将特征输入到包含对位置和方向都敏感的注意力机制CoordAttention的缩放模块进一步提取特征;该模块含有两个核大小为3的深度卷积,其中在第一个卷积之后添加改进后的单向CoordAttention机制模块以获得强化跨通道信息、方向信息与位置信息的特征,第二个卷积的膨胀系数为3,并且在两个深度卷积之间添加两个核大小为1的一维卷积以调整特征的通道数量;

步骤4.3、将步骤4.1中获得的特征输入到包含了空间注意力机制的空洞卷积模块中进一步提取特征;该模块含有一个核大小为3空洞率为3的一维卷积、一个核大小为1的一维卷积以及一个空间注意力机制模块,三者依次连接;

步骤4.4、将步骤4.1中获得的特征通过跳跃连接与步骤4.2、步骤4.3中获得的特征拼接,然后使用一个核大小为1的卷积调整拼接后的通道数量;

步骤4.5、根据不同大小的感受野堆叠由上述步骤4.2、步骤4.3、步骤4.4组成的block结构,从而获得回归映射神经网络的主干;

步骤4.6、在最后一个block之后使用一个核大小为1的一维卷积实现对3D人体关节点坐标的预测;

步骤5、在Human3.6M公开数据集上训练上述回归映射神经网络。回归映射神经网络采用3D人体姿态检测领域常用的每个关节的平均位置误差MPJPE作为损失函数,公式如下:其中,N表示被检测视频帧中骨架关节点数量;表示被检测视频帧中骨架的第i个关节点的预测值,Ji表示对应关节点的真实值;

步骤6、测试回归映射神经网络获得3D人体姿态。

2.根据权利要求1所述的基于单目视觉的3D人体姿态检测方法,其特征在于,步骤1具体包括以下步骤:步骤1.1、使用在ImageNet数据集上训练得到的权重作为预训练权重,然后在自有数据集上训练YOLOX模型,epoch为100,学习率为0.001,优化器选择Adam;

步骤1.2、使用训练后的YOLOX模型检测输入图像中存在的人,获得相应的人物检测框。

3.根据权利要求1所述的基于单目视觉的3D人体姿态检测方法,其特征在于,步骤2具体包括以下步骤:根据人物检测框计算中心点,然后以高为基准按照16:9的长宽比计算出新的人物检测框,并且将其放大到1920*1080,从而获得新的人物图像;新的人物检测框的高宽分别为:h=h,w=(16h)/9。

使用经典的堆叠沙漏模型从获得的新人物图像中提取2D人体关节点坐标序列。

4.根据权利要求1所述的基于单目视觉的3D人体姿态检测方法,其特征在于,步骤3中使用经典的堆叠沙漏模型从获得的新人物图像中提取2D人体关节点坐标序列。

5.根据权利要求1所述的基于单目视觉的3D人体姿态检测方法,其特征在于,步骤5具体包括以下步骤:回归映射神经网络在Human3.6M数据集上进行训练,该数据集包含S1、S5、S6、S7、S8、S9、S11共七组数据,其中S1、S5、S6、S7、S8作为训练集,S9、S11作为测试集,网络共训练80个epoch,优化器选择Adam,初始学习为0.001,采用指数衰减的学习率策略,每个epoch应用一个收缩因子0.95;在经过缩放模块中的深度卷积、两个核大小为1的卷积和时域卷积模块中的膨胀卷积及核大小为1的卷积后依次使用批量归一化、ReLU、Dropout进行处理,其中批量归一化的动量为0.1,并以指数衰减,最后一个epoch达到0.001,Dropout值为0.25。