1.一种基于掩码感知图卷积和骨骼先验的人体动作捕捉方法,其特征在于,所述方法包括:a) 获取单张RGB图像,并提取所述RGB图像对应的人体掩码;
b) 通过掩码感知图卷积网络的特征编码层,分别对所述RGB图像和人体掩码进行特征提取,得到图像特征和掩码特征,以及分别对所述图像特征和所述掩码特征进行编码,得到包含空间位置信息的图像token序列和掩码token序列,具体包括:采用卷积操作将图像特征和掩码特征的通道维度降至预设维度D;将降维后的图像特征图和掩码特征图分别重新组织为长度为HW+1的图像token序列和掩码token序列,其中表示图像的高度,表示图像的宽度,token序列包含一个学习的相机token标记;对图像token序列和掩码token序列分别应用线性投影操作;为经过线性投影的图像token序列和掩码token序列添加位置编码P,以获得包含空间位置信息的图像token序列和掩码token序列;
c) 通过掩码感知图卷积网络的邻接矩阵构建层,根据所述图像token序列和掩码token序列,构建掩码感知的邻接矩阵,并利用图卷积网络更新所述图像token序列和所述邻接矩阵,得到增强的图像特征;
d) 通过骨骼先验解耦网络的SMPL形体拟合层,基于SMPL模型的骨架和顶点信息作为先验,结合所述增强的图像特征,通过解码器结构预测得到三维关节位置坐标和形体网格顶点坐标,具体包括:初始化可学习的关节点特征和顶点特征,所述顶点特征基于SMPL模型的顶点进行下采样和维度提升得到;将所述可学习的关节点特征和顶点特征输入解码器进行特征建模;所述解码器包含结构感知的多头自注意力层和交叉注意力层;所述多头自注意力层利用基于SMPL骨架结构的预定义边连接矩阵,并结合掩码加权融入注意力权重计算;所述交叉注意力层利用所述增强的图像特征作为键向量和值向量,利用所述关节点特征和顶点特征作为查询向量,执行交叉注意力计算。
2.根据权利要求1所述的方法,其特征在于,步骤b)中,分别对所述图像特征和所述掩码特征进行编码,得到包含空间位置信息的图像token序列和掩码token序列的步骤之后还包括:将添加位置编码P后的图像token序列和掩码token序列并行输入至Transformer编码器中;
利用所述Transformer编码器的自注意力机制分别对图像token序列和掩码token序列内部进行空间关系建模,输出编码后的图像token序列和掩码token序列。
3.根据权利要求1或2所述的方法,其特征在于,步骤c)中,构建掩码感知的邻接矩阵的步骤具体包括:通过计算所述图像token序列和掩码token序列之间的哈达玛积,生成初始掩码感知矩阵;
利用人体解析模型提取原始掩码M作为筛选条件,对所述初始掩码感知矩阵进行处理:对于原始掩码M中对应位置值为零的token之间的连接关系进行过滤,并为背景区域的连接关系赋予由预设比例因子β控制的权重,得到过滤后的矩阵;
对所述过滤后的矩阵进行权重归一化处理,生成用于图卷积网络的掩码感知的邻接矩阵。
4.根据权利要求3所述的方法,其特征在于,步骤c)之后还包括:
通过掩码感知图卷积网络的掩码约束损失层计算掩码约束损失;
所述掩码约束损失的计算包括:识别出在所述原始掩码M中具有相同非零标签值的token对,并最小化所述token对所对应的增强的图像特征之间的欧式距离;
所述掩码约束损失的计算公式为:
其中为掩码损失,表示增强的图像特征的第和第个token的欧式距离,表示原始掩码M在位置的值。
5.根据权利要求1所述的方法,其特征在于,步骤d)还包括:
对解码器输出的关节点特征和顶点特征进行回归,得到初始的三维关节点坐标和粗糙的顶点网格;
对所述粗糙的顶点网格进行上采样操作,恢复精细的SMPL参数化形体网格。
6.根据权利要求1或4或5所述的方法,其特征在于,步骤d)还包括:
通过骨骼先验解耦网络的损失优化层计算总损失,所述总损失包括:
用于约束预测的二维投影关节点与真值二维关节点的2D关节投影损失;
用于约束预测的三维关节点坐标和形体网格顶点坐标与真值坐标的几何一致性的3D几何损失;
以及掩码约束损失。
7.一种基于掩码感知图卷积和骨骼先验的人体动作捕捉系统,其特征在于,所述系统包括:图像获取模块,用于获取单张RGB图像;
掩码提取模块,用于提取所述RGB图像对应的人体掩码;
掩码感知图卷积模块,包括:
特征编码单元,用于分别对所述RGB图像和人体掩码进行特征提取,得到图像特征和掩码特征,以及分别对所述图像特征和所述掩码特征进行编码,得到包含空间位置信息的图像token序列和掩码token序列,具体包括:采用卷积操作将图像特征和掩码特征的通道维度降至预设维度D;将降维后的图像特征图和掩码特征图分别重新组织为长度为HW+1的图像token序列和掩码token序列,其中表示图像的高度,表示图像的宽度,token序列包含一个学习的相机token标记;对图像token序列和掩码token序列分别应用线性投影操作;为经过线性投影的图像token序列和掩码token序列添加位置编码P,以获得包含空间位置信息的图像token序列和掩码token序列;以及邻接矩阵构建单元,用于根据所述图像token序列和掩码token序列,构建掩码感知的邻接矩阵,并利用图卷积网络更新所述图像token序列和所述邻接矩阵,得到增强的图像特征;
骨骼先验解耦模块,包括SMPL形体拟合单元,用于基于SMPL模型的骨架和顶点信息作为先验,结合所述增强的图像特征,通过解码器结构预测得到三维关节位置坐标和形体网格顶点坐标,具体包括:初始化可学习的关节点特征和顶点特征,所述顶点特征基于SMPL模型的顶点进行下采样和维度提升得到;将所述可学习的关节点特征和顶点特征输入解码器进行特征建模;所述解码器包含结构感知的多头自注意力层和交叉注意力层;所述多头自注意力层利用基于SMPL骨架结构的预定义边连接矩阵,并结合掩码加权融入注意力权重计算;所述交叉注意力层利用所述增强的图像特征作为键向量和值向量,利用所述关节点特征和顶点特征作为查询向量,执行交叉注意力计算。
8.一种电子设备,其特征在于,包括处理器,存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时,实现如权利要求1-6任一项所述的一种基于掩码感知图卷积和骨骼先验的人体动作捕捉方法的步骤。