1.一种基于上半身姿态估计的面板装配关键动作识别方法,其特征是,所述面板装配关键动作识别方法包括
构建用于对面板装配环节中装配人员检测的目标检测模型,利用所构建的目标检测模型对面板装配环节中面板装配动作图像进行所需的目标检测后,以能得到面板装配环节中一当前装配人员的目标检测框信息;
构建用于对人体上半身骨骼关键点姿态识别的HRnet姿态估计模型,对当前装配人员的目标检测框信息,利用所构建的HRnet姿态估计模型确定当前装配人员的上半身骨骼关键点相应的坐标,其中,当前装配人员的上半身骨骼关键点相应的坐标,至少包括鼻子的坐标、左耳的坐标、右耳的坐标、左肩的坐标、左手肘的坐标、左手腕的坐标、右肩的坐标、右手肘的坐标、右手腕的坐标、左手小拇指的坐标、左手中指的坐标、左手大拇指的坐标、右手小拇指的坐标、右手中指的坐标以及右手大拇指的坐标;
构建用于对面板装配环节装配动作识别的ST‑GCN动作识别网络;
对面板装配动作识别时,获取面板装配环节中当前装配人员的连续N帧面板装配动作图像,利用目标检测模型输出当前装配人员在每帧面板装配动作图像的目标检测框信息,并利用HRnet姿态估计模型确定每帧面板装配动作图像中的上半身骨骼关键点相应坐标,根据连续N帧面板装配动作图像中上半身骨骼关键点相应坐标,利用ST‑GCN动作识别网络识别并输出当前装配人员的面板装配动作的类型。
2.根据权利要求1所述的基于上半身姿态估计的面板装配关键动作识别方法,其特征是,构建的目标检测模型为基于YOLOV3‑tiny的目标检测模型时,包括如下步骤:步骤1.1、制作用于训练基于YOLOV3‑tiny的目标检测模型的目标检测模型数据集,其中,目标检测模型数据集内的数据图像为至少包含人体上半身信息的人体图像;
步骤1.2、将上述制作的目标检测模型数据集划分为检测模型训练集、检测模型验证集以及检测模型测试集,配置基于YOLOV3‑tiny的目标检测模型的目标检测模型损失函数以及目标检测模型训练终止条件,利用检测模型训练集对基于YOLOV3‑tiny的目标检测模型训练,直至满足目标检测模型训练终止条件,以构建得到用于对面板装配环节中装配人员目标检测的目标检测模型。
3.根据权利要求2所述的基于上半身姿态估计的面板装配关键动作识别方法,其特征是,步骤1.1中,目标检测模型数据集包括采集面板装配环节中的装配人员上半身图像以及基于COCO2017数据集内的人体图像,其中,对装配人员上半身图像;在对装配人员上半身图像标注时,只标注装配人员上半身图像中的上半身信息,且在对装配人员上半身图像标注后转换为COCO格式;基于COCO2017数据集,仅提取人体类别的图像,以得到基于COCO2017数据集内的人体图像。
4.根据权利要求2或3所述的基于上半身姿态估计的面板装配关键动作识别方法,其特征是,步骤1.2中,配置识别模型训练终止条件为:在检测模型训练集上,目标检测模型的损失函数至少连续5代保持稳定;配置的目标检测模型损失函数为:其中,K×K为目标检测图像分成的网格数,M为每个网格先验框个数;Ci为第i个网格中预测框的真实置信度, 为第i个网格中预测框的预测置信度,pi(c)为第i个网格中负责预测目标的预测框的真实类别概率, 为第i个网格中负责预测目标的预测框的预测类别概率,λcoord为坐标损失权重,λnoobj为当前网格中不负责预测目标的预测框的置信度损失权重,(xi,yi)为第i个网格中所需预测目标的真实框的实际中心坐标值, 为第i个网格中负责预测目标的预测框的预测中心坐标值,wi为第i个网格中所需预测目标的真实框的实际宽度值, 为第i个网格中负责预测目标的预测框的预测宽度值,hi为第i个网格中所需预测目标的真实框的实际高度值, 为第i个网格中负责预测目标的预测框的预测高度值; 取值为第i个网格中的第j个预测框负责预测当前目标时, 否则取值为第i个网格中的第j个预测框不负责预测当前目标时, 否则,
5.根据权利要求1至3任一项所述的基于上半身姿态估计的面板装配关键动作识别方法,其特征是,构建HRnet姿态估计模型时,具体包括如下步骤:步骤2.1、制作用于训练HRnet姿态估计模型的姿态估计模型数据集,其中,姿态估计模型数据集包括采集面板装配环节中的装配人员上半身图像以及基于COCO‑WholeBody的上半身骨骼部位图像;
步骤2.2、将上述制作的姿态估计模型数据集划分为姿态估计模型训练集、姿态估计模型验证集以及姿态估计模型测试集,配置HRnet姿态估计模型的姿态估计模型损失函数以及姿态估计模型训练终止条件,利用姿态估计模型训练集对HRnet姿态估计模型训练,以得到用于对人体上半身骨骼关键点姿态识别的HRnet姿态估计模型;
配置所述HRnet姿态估计模型的姿态估计损失函数为其中,P为HRnet姿态估计模型识别上半身骨骼关键点的数量,B为HRnet姿态估计模型一次batch处理姿态估计模型训练集内相应图像的个数,zij为第i个上半身骨骼关键点在第j张热图真实值,z′ij为第i个上半身骨骼关键点在第j张热图的预测值,qi为第i个上半身骨骼关键点相应的权重值。
6.根据权利要求5所述的基于上半身姿态估计的面板装配关键动作识别方法,其特征是,在姿态估计模型测试集上,利用OKS对训练得到的HRnet姿态估计模型进行评价,在得到对象关键点相似性值OKSΦ后,通过设定阈值T,则有其中,Φ为姿态估计模型测试集中人员对象的编号,OKSΦ为编号Φ的人员对象关键点相似性值,OKSΦ>T表示对象关键点相似性值OKSΦ大于设定阈值T,δ(OKSΦ>T)表示对对象关键点相似性值OKSΦ大于设定阈值T时的阶跃运算,∑Φ1表示为姿态估计模型测试集中进行预测的总人数,AP为平均准确率,E{AP}表示对平均准确率AP的期望,mAP为平均准确率AP的平均值。
7.根据权利要求1至3任一项所述的基于上半身姿态估计的面板装配关键动作识别方法,其特征是,构建用于对面板装配环节装配动作识别的ST‑GCN动作识别网络时,利用目标检测模型以及HRnet姿态估计模型制作ST‑GCN动作识别网络的动作识别网络数据集;
对ST‑GCN动作识别网络训练时,配置ST‑GCN动作识别网络的动作识别网络损失函数以及动作识别网络训练终止条件,利用动作识别网络数据集对ST‑GCN动作识别网络训练,直至满足动作识别网络训练终止条件,以构建得到用于对面板装配环节装配动作识别的ST‑GCN动作识别网络;
其中,配置的动作识别网络损失函数为BCELoss损失函数,在计算动作识别网络损失函数时,先对每个动作识别网络数据集内的标签进行平滑处理,并在平滑处理后再确定动作识别网络损失函数相应的训练损失函数值。
8.根据权利要求2或3所述的基于上半身姿态估计的面板装配关键动作识别方法,其特征是,利用目标检测模型对面板装配动作图像进行装配人员识别时,当面板装配动作图像中存在多个装配人员时,计算每个装配人员相应的目标检测框面积,将目标检测框面积最大的装配人员作为当前装配人员。
9.根据权利要求1至3任一项所述的基于上半身姿态估计的面板装配关键动作识别方法,其特征是,利用目标检测模型确定当前装配人员的目标检测框信息后,提取当前装配人员的所在区域的图像,并将所提取的图像进行预处理为满足HRnet姿态估计模型处理的姿态估计图像。
10.根据权利要求1至3任一项所述的基于上半身姿态估计的面板装配关键动作识别方法,其特征是,所述ST‑GCN动作识别网络还同时输出预测类别概率、骨架连接图、当前帧数和整个网络运行帧率。