1.一种基于时空信息的遮挡场景二维姿态估计的方法,其特征在于,包括如下步骤:S1,获取包括多个人体信息的视频;
S2,构建二维姿态估计模型;所述模型包括输入模块、可见性预测与屏蔽模块、关键点推理模块、时空依赖性模块和回归层;
所述输入模块,识别并裁剪输入的视频中的个体,得到各个体的个体视频片段,使用卷积骨干网络依次提取各个体视频片段的每一帧的关键点特征,逐个输出至可见性预测与屏蔽模块;
所述可见性预测与屏蔽模块,对输入的关键点特征进行可见性预测,得到掩码特征,并输出至关键点推理模块;
所述关键点推理模块,基于输入的掩码特征,补全被遮挡的关键点,获得增强的关键点特征,并输出至时空依赖性模块;
所述时空依赖性模块,对输入的增强的关键点特征进行逐帧处理,提取当前帧的每个关键点的时间依赖更新特征及每个关键点之间的空间依赖更新特征,并分别融合每个关键点的时间依赖更新特征和空间依赖更新特征获得增强的时空特征,逐帧进行输出;
所述回归层,基于逐帧处理增强的时空特征进行二维姿态估计,得到当前个体的二维姿态估计序列;逐个个体处理得到所有个体的二维姿态估计序列;
S3,将获取的视频输入二维姿态估计模型进行训练,获得训练好的二维姿态估计模型;
S4,使用获得训练好的二维姿态估计模型进行遮挡场景二维姿态估计;
所述关键点推理模块采用Transformer网络;所述Transformer网络由4个相同的Transformer块按顺序堆叠而成;每个所述Transformer块包括一个多头自关注模块和一个多层感知模块;所述Transformer网络的处理步骤具体如下:首先,将掩码特征输入多头自关注模块;多头自关注模块的自注意头表示为:其中,表示自注意头;softmax(·)表示softmax函数;WQ、WK和WV分别表示线性投影层;d表示每个掩码特征的维度;表示的转置;
多头自注意模块组合了h个自注意头,表示为:
其中,表示多头自关注;表示第m个自注意头;WP表示线性投影层;
其次,进行残差连接与层归一化,公式如下:
其中,表示残差连接与层归一化的输出结果;LayerNorm表示层归一化操作;
然后,输入多层感知模块,表示为:
其中,表示对输入向量进行前馈神经网络操作的结果;W1和W2分别表示线性变换矩阵;b1和b2分别表示偏置项;max(0,·)表示ReLU激活函数;
最后,进行残差连接与层归一化,得到增强的关键点特征,公式如下:其中,表示增强的关键点特征。
2.根据权利要求1所述的基于时空信息的遮挡场景二维姿态估计的方法,其特征在于,所述二维姿态估计模型还包括离散余弦过滤模块;所述离散余弦过滤模块以二维姿态估计序列为输入,将二维姿态估计序列转化成离散余弦系数,使用低通滤波器保留预设数量的低频离散余弦系数,再通过离散反余弦变换获得去除高频噪声的二维姿态序列,并输出去除高频噪声的二维姿态序列作为二维姿态估计模型的输出。
3.根据权利要求1所述的基于时空信息的遮挡场景二维姿态估计的方法,其特征在于,所述可见性预测与屏蔽模块,对输入的关键点特征进行可见性预测,得到掩码特征,具体步骤如下:首先,使用轻量级的多层感知器模块对关键点特征进行可见性预测,得到个体的每个关键点的logit分数根据个体的每个关键点的logit分数,基于预设的分类阈值获得可见性掩码,公式如下所示:其中,表示可见性掩码;sigmoid(·)表示sigmoid函数;V(·)表示轻量级的多层感知器模块;表示关键点特征;0.5表示预设的分类阈值;
然后,将可见性掩码与关键点特征逐元素相乘得到掩码特征,公式如下所示:其中,表示掩码特征;⊙表示逐元素相乘。
4.根据权利要求1所述的基于时空信息的遮挡场景二维姿态估计的方法,其特征在于,所述增强的时空特征表示为具体如下:其中,fij(t)表示个体i的关节j在当前帧t的时空聚合特征,t∈[t-T,t+T],T表示时间跨度,表示所有关节的集合;表示串联操作;表示个体i的关节j在当前帧t的时间依赖更新特征;表示个体i的关节j在当前帧t的空间依赖更新特征;n表示关节数。
5.根据权利要求4所述的基于时空信息的遮挡场景二维姿态估计的方法,其特征在于,使用第一局部感知注意模块进行时间依赖更新特征的获取;所述第一局部感知注意模块包括第二Transfomer网络;所述第二Transfomer网络包括4个相同的Transformer块按顺序堆叠,每个Transformer块包括一个多头自关注模块和一个多层感知模块;表示如下:其中,表示个体i的第j个关节的增强的关键点特征;ATT(·)表示局部感知注意。
6.根据权利要求4所述的基于时空信息的遮挡场景二维姿态估计的方法,其特征在于,使用第二局部感知注意模块进行空间依赖更新特征的获取;所述第二局部感知注意模块包括第三Transformer网络;所述第三Transformer网络包括4个相同的Transformer块按顺序堆叠,每个Transformer块包括一个多头自关注模块和一个多层感知模块;具体如下:基于人体姿势的语义结构,将增强的关键点特征分为K组,对每个组分别使用局部感知注意,表示如下:其中,G(k)表示k组联合指标集合;表示第k组的空间依赖更新特征;ATT(·)表示局部感知注意;表示个体i的关节j在当前帧t的增强的关键点特征,表示第k组的
7.根据权利要求1所述的基于时空信息的遮挡场景二维姿态估计的方法,其特征在于,所述回归层包括与关节数量相等的全连接层,每个全连接层独立处理一个关节的特征,不与其他全连接层共享网络参数,回归层输出当前帧中的每个关节的坐标,完成二维姿态估计。
8.一种基于时空信息的遮挡场景二维姿态估计的系统,包括如下:数据获取模块,用于获取包括多个人体信息的视频;
模型构建模块,用于构建二维姿态估计模型;所述模型包括输入模块、可见性预测与屏蔽模块、关键点推理模块、时空依赖性模块和回归层;
模型训练模块,用于将获取的视频输入二维姿态估计模型进行训练,获得训练好的二维姿态估计模型;
二维姿态估计模块,用于使用获得训练好的二维姿态估计模型进行遮挡场景二维姿态估计;
所述输入模块,识别并裁剪输入的视频中的个体,得到各个体的个体视频片段,使用卷积骨干网络依次提取各个体视频片段的每一帧的关键点特征,逐个输出至可见性预测与屏蔽模块;
所述可见性预测与屏蔽模块,对输入的关键点特征进行可见性预测,得到掩码特征,并输出至关键点推理模块;
所述关键点推理模块,基于输入的掩码特征,补全被遮挡的关键点,获得增强的关键点特征,并输出至时空依赖性模块;
所述时空依赖性模块,对输入的增强的关键点特征进行逐帧处理,提取当前帧的每个关键点的时间依赖更新特征及每个关键点之间的空间依赖更新特征,并分别融合每个关键点的时间依赖更新特征和空间依赖更新特征获得增强的时空特征,逐帧进行输出;
所述回归层,基于逐帧处理增强的时空特征进行二维姿态估计,得到当前个体的二维姿态估计序列;逐个个体处理得到所有个体的二维姿态估计序列;
所述关键点推理模块采用Transformer网络;所述Transformer网络由4个相同的Transformer块按顺序堆叠而成;每个所述Transformer块包括一个多头自关注模块和一个多层感知模块;所述Transformer网络的处理步骤具体如下:首先,将掩码特征输入多头自关注模块;多头自关注模块的自注意头表示为:其中,表示自注意头;softmax(·)表示softmax函数;WQ、WK和WV分别表示线性投影层;d表示每个掩码特征的维度;表示的转置;
多头自注意模块组合了h个自注意头,表示为:
其中,表示多头自关注;表示第m个自注意头;WP表示线性投影层;
其次,进行残差连接与层归一化,公式如下:
其中,表示残差连接与层归一化的输出结果;LayerNorm表示层归一化操作;
然后,输入多层感知模块,表示为:
其中,表示对输入向量进行前馈神经网络操作的结果;W1和W2分别表示线性变换矩阵;b1和b2分别表示偏置项;max(0,·)表示ReLU激活函数;
最后,进行残差连接与层归一化,得到增强的关键点特征,公式如下:其中,表示增强的关键点特征。