1.一种基于时空多残差图卷积的3D骨骼点动作识别方法,其特征在于:包括以下步骤:步骤1:通过OpenPose等骨骼点检测框架获取片段上的骨骼点;步骤2:数据处理:为了保持输入数据比例一致,将数据输入至时空多残差图卷积神经网络ST-RESGCN之前,首先进行数据格式处理,通过两路分支提取骨骼点信息;步骤3:在时空图卷积神经网络ST-GCN中的图卷积模块中同步增加类残差卷积网络模块,用来并行获取到人体动作骨骼点的全局骨骼点特征信息,将通过模型输入的骨骼序列与邻接矩阵的子集进行信息融合,获取到人体骨骼点的局部特征信息;同时通过增加类残差卷积模块,获取到人体骨骼点的全局特征信息,将步骤2中的两路分支特征信息并行传入时空多残差图卷积神经网络ST-RESGCN当中,在利用局部特征信息的基础上同步加入全局特征信息进行特征信息融合,充分挖掘人体骨骼点特征信息;
所述步骤3中,通过时空多残差图卷积神经网络ST-RESGCN进行局部动作特征和全局动作特征的提取,其中空间图卷积模块的公式为:W(v
每一帧上的骨骼坐标点集合V={v
所述步骤3中,时空多残差图卷积神经网络ST-RESGCN将局部特征与全局特征融合后,并送入时间卷积模块完成对人体骨骼点时间特征的提取,时空多残差图卷积神经网络ST-RESGCN中每一层的ST-RESGCN模块包括注意力机制模块、空间图卷积模块、残差卷积模块和时间卷积模块;在每层空间图卷积模块加入残差卷积网络模块,将在图卷积模块中与特征子集融合处理后捕捉到局部特征,与动作骨架图结构的全局特征信息融合后传入时间卷积模块,以此提取空间域和时间域上的特征信息;
所述步骤3中,在每一层的图卷积神经网络GCN中同步加入残差卷积模块,其中每层图卷积网络输出结果为:
f
公式中G(x,A)为骨骼序列经过图卷积神经网络GCN与手工设定好的特征节点A融合后的特征信息,R(x)为骨骼序列经过每层残差卷积模块的序列信息,f
2.根据权利要求1所述的基于时空多残差图卷积的3D骨骼点动作识别方法,其特征在于:所述时空图卷积神经网络ST-GCN中的图卷积模块包括空间图卷积模和时间卷积模块;类残差卷积网络模块ST-RESGCN包括空间图卷积模、残差模块和时间卷积模块。
3.根据权利要求1所述的基于时空多残差图卷积的3D骨骼点动作识别方法,其特征在于:所述步骤2中两路分支分别为:一路分支是将人体骨骼点通过图卷积的邻接矩阵,即将相邻骨骼点分成三个子集:根节点本身、向心群、离心群,以此提供局部特征信息;另一路分支是将所有节点序列信息集合传入类残差卷积网络模块ST-RESGCN的残缺模块中,来提取人体骨骼点的全局特征信息,同步传入到时空多残差图卷积神经网络ST-RESGCN当中并行处理。
4.根据权利要求1所述的基于时空多残差图卷积的3D骨骼点动作识别方法,其特征在于:所述步骤1中,通过OpenPose提供18点骨骼点或者25点骨骼点输出。
5.根据权利要求1所述的基于时空多残差图卷积的3D骨骼点动作识别方法,其特征在于:所述时空多残差图卷积神经网络ST-RESGCN中的通道数为64、64、64、128、128、128、128、128、256。