1.一种基于自监督学习的工厂人员异常行为检测方法,其特征在于,具体包括如下步骤:S1,构建四种图结构,包括:基于距离的图结构、基于二阶最近距离的图结构、基于纹理相似性的图结构和基于运动信息的图结构,并基于图卷积神经网络GCN进行动作帧的特征提取;
S2,基于3D卷积神经网络,对动作帧进行特征提取;
S3,基于对比学习的图卷积神经网络模型与3D卷积神经网络模型进行预训练;
S4,将3D卷积神经网络和图卷积神经网络提取的特征进行拼接,并利用时间卷积网络TCN对人员动作进行预测;
步骤S1具体包括如下步骤:
S1.1,构建基于距离的图结构:将t时刻的骨骼节点定义为v其中T
S1.2,构建基于二阶最近距离的图结构:根据式(2)计算二阶邻接矩阵A
A
邻接矩阵A
步骤S1还包括如下步骤:
S1.3,构建基于纹理相似性的图结构:采用距离方法计算任意两骨骼节点之间的EHD特征的距离作为是否连通的标准,其计算方法如下:COnnectivity(v
S1.4,构建基于运动信息的图结构:对于t时刻的骨骼节点集合v
Cov(m
2.根据权利要求1所述的一种基于自监督学习的工厂人员异常行为检测方法,其特征在于,步骤S1还包括如下步骤:S1.5,利用图卷积神经网络进行动作帧的特征提取,利用式(6)计算特征向量:其中H
S1.6,对特征矩阵
其中,Pool为池化操作,[ ]为特征拼接操作,FC为全连接层,f
3.根据权利要求1所述的一种基于自监督学习的工厂人员异常行为检测方法,其特征在于,步骤S2包括如下步骤:S2.1,对于一个输入的人体骨骼信息,首先构建人体骨骼的三维包围区域;
S2.2,对三维包围区域进行离散,将人体骨骼离散成间隔为1像素的网格形状,每个像素采用在图像中的RGB颜色作为表示,形成3个三维网格,进而构建人体骨骼的3通道原始3D网格;
S2.3,利用高斯卷积核对原始3D网格进行卷积运算:其中,x,y,z为网格中的人体骨骼对应像素所在坐标,S(x,y,z)定义了高斯卷积核的计算方法,σ为高斯方差;Grid_init(x,y,z,t)为t时刻网格初始值,h为平滑范围;
对于经过高斯卷积之后的3D分子网格,采用三维卷积神经网络CNN进行特征提取,获取t时刻网格的表示向量ff
其中,FC为全连接层,Grid
4.根据权利要求1所述的一种基于自监督学习的工厂人员异常行为检测方法,其特征在于,步骤S3具体包括如下步骤:S3.1,将图卷积特征向量f
其中,l
S3.2,经过对比学习后的特征向量再输入到图卷积神经网络模型和3D神经网络模型中,随后继续执行步骤S3.1,直到模型收敛或者达到预设的训练轮次。
5.根据权利要求1所述的一种基于自监督学习的工厂人员异常行为检测方法,其特征在于,步骤S4具体为:S4.1,对于每一帧的骨骼结构分别获得:经过预训练的图卷积神经网络模型的特征和经过预训练的3D神经网络模型的特征,并将特征进行拼接;
S4.2,拼接后的特征输入到时间卷积网络TCN网络,对动作进行建模并预测。