欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2022116089537
申请人: 昆明理工大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种融合多尺度时空特征的三维人体姿态估计方法,其特征在于:包括如下步骤:Step1、基于人体拓扑结构对输入的人体运动视频数据集中的二维姿态序列进行姿态识别,生成描述人体姿态的关节点、肢体和上/下身的三种尺度,并将其映射为不同大小的高维向量;

Step2、构建基于Transformer的空间多尺度特征提取模块,采用多头注意力并行提取三种尺度下的关节点、肢体和上/下身人体姿态特征;

Step3、通过定义结合自注意力和跨注意力的空间多尺度特征融合模块,计算三种特征的查询、键、值矩阵,得到融合了空间多尺度特征的三维人体姿态;

Step4、通过建立多尺度时序编码模块,对融合后的不同空间多尺度特征帧间进行多尺度时序信息编码,最终生成细化的三维人体姿态。

2.根据权利要求1所述的融合多尺度时空特征的三维人体姿态估计方法,其特征在于:所述Step1具体过程如下:

Step1.1、首先,对输入的人体运动视频数据集Γ进行二维人体姿态估计,获得每一视

1×(J·2)

频帧的二维人体关节点序列{Xi∈R |i=1,2,...,F},其中F为输入帧数,J为每一视频帧中关节点个数,R代表实数域;

Step1.2、然后,根据人体拓扑结构将每一视频帧的二维人体关节点序列描述为三种不同尺度集合,包括:关节点尺度描述 肢体尺度描述 其中上/下半身尺度描述

其中

其中,M1为臀部、M2为右臀部、M3为右膝盖、M4为右脚踝、M5为左臀部、M6为左膝盖、M7为左脚踝、M8为脊柱、M9为胸部、M10为颈部、M11为头部、M12为左肩、M13为左手肘、M14为左手腕、M15为右肩、M16为右手肘、M17为右手腕;

Step1.3、最后,将三个尺度描述线性投影至高维空间,并加入带有空间位置信息的嵌入矩阵: 得到三个高维向量,分别为:关节点肢体 上/下身 其中,Linear表示线性投影,Espos代表空间位置嵌入矩阵,c1、c2、c3均为投影维度,且c1<c2<c3。

3.根据权利要求1所述的融合多尺度时空特征的三维人体姿态估计方法,其特征在于:所述Step2具体过程如下:

Step2.1、首先,将关节点、肢体、上/下身的高维向量在时域上对每帧进行分离,得到每一帧在三种尺度下的姿态特征矩阵: F为输入帧数,J为每一视频帧中关节点个数,c1、c2、c3均为投影维度;

Step2.2、然后采用Transformer,构建包含三个自注意力头和前馈神经网络的多尺度特征提取模块,自注意力操作定义为 其中,Q、K、V分别为由特征矩阵线性变换得到的查询、键、值矩阵,Softmax为归一化函数,c为投影维度;

Step2.3、最后,分别将每一帧的关节点、肢体、上/下身姿态特征矩阵 并行输入至多尺度特征提取模块中的三个自注意力头,提取得到三种尺度下的关节点特征矩阵肢体特征矩阵 上/下身特征矩阵再在每个自注意力头后加入一个1×1卷积层,将特征矩阵中的维度c1、c2、c3统一至c。

4.根据权利要求1所述的融合多尺度时空特征的三维人体姿态估计方法,其特征在于:所述Step3具体过程如下:

Step3.1、首先,将关节点特征矩阵 肢体特征矩阵 上/下身特征矩阵分别经过线性投影分别生成一组新的Q、K、V矩阵;J为每一视频帧中关节点个数,c为投影维度;

Step3.2、其次,结合自注意力和跨注意力机制定义空间多尺度特征融合模块,将三个特征生成的Q、K、V输入该模块,分别计算关联特征间的双向注意力矩阵;

关节点与肢体的双向注意力矩阵表示为:

其中

V c×c

W∈R 为线性层,dk是矩阵乘法的中间维度,k∈{1,2,3}代表三种空间尺度,l为当前空间融合层数;同理,将关节点与上/下身双向注意力矩阵、肢体与上/下身双向注意力矩阵分别表示为Step3.3、然后,将三个双向注意力矩阵 分别通过线性层恢复特征维度,再输入至Transformer中的前馈神经网络,并进行归一化后,作为第l+1层空间多尺度特征融合模块的输入Step3.4、最后,重复Step3.1‑Step3.3 L次,得到融合了空间多尺度特征的三维人体姿态 F为输入帧数,L为一个超参数。

5.根据权利要求1所述的融合多尺度时空特征的三维人体姿态估计方法,其特征在于:所述Step4具体过程如下:

Step4 .1、首先,将融合了空间多尺度特征的每一帧三维人体姿态拼接起来,并加入带有时序和位置信息的嵌入矩阵Etpos,输入至由N个多头自注意力层、N个帧融合层和一个时序尺度合并层组成的多尺度时序编码模块,

0 F×(J+6+2)×c

得到时序特征矩阵Y∈R ,其中N是超参数,自行设定;

Step4.2、其次,将每一个多头自注意力层和一个帧融合层组成多尺度时序编码的一个0

阶段,在第一阶段将Y输入多头自注意力层,计算当前时序尺度下所有帧间的相似度矩阵,以建模全局运动关系并输入由一个卷积核大小为3,步长为2的时间卷积构成的帧融合层,输出得到 每经过一个阶段重复一次本步骤中的以上操作,得到时序多尺度特征,直至第N个阶段输出为: F为输入帧数,c为投影维度,J为每一视频帧中关节点个数;

Step4.3、然后,将每个阶段的输出分别输入基于线性层和上采样构建的时序尺度合并n′ n‑1 n n′ F×D层,每个时序尺度的特征矩阵重塑为Y =UpSamplek(Y )W ,其中Y ∈R ,n=1,2,...,N,N‑1D为统一的时序特征维度,UpSamplek表示上采样率为k=2 的上采样,Step4.4、最后,拼接每个阶段经时序融合后的输出得到并在时域上执行加权平均操作将输出帧数降为1,再通过一个具有N·D个神经元的全连接层,最终得到细化的三维人体姿态