欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2020101970496
申请人: 山西大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.基于深度学习的劳保用品佩戴情况检测和身份识别的方法,其特征在于:包括以下步骤:

步骤S1:通过互联网爬取图片及工作现场采集图片的方式收集数据,然后制作“工作人员劳保用品佩戴情况检测和身份识别专用数据集”;

步骤S2:数据预处理,对爬取到的照片进行数据清洗、数据扩充然后进行标注,并把图片进行数据集划分;

步骤S3:训练模型,设计并训练基于多种目标检测算法原理的深度模型,对多个深度模型采用Stacking Ensemble的方法进行模型集成;

步骤S4:使用公开数据集采用center loss训练基于深度学习的人脸识别模型和采用孪生网络构建训练基于深度学习的行人再识别模型;获取应用场所工作人员的身份信息、人脸照片以及行走图片,用于构建工作现场的人脸识别和行人再识别比对数据库;结合该图像数据库对模型进行自适应优化;

步骤S5:对工作人员进行劳保用品佩戴情况检测,使用人脸识别模型对未佩戴劳保用品的工作人员进行身份识别,持续监控,并对无法识别的工作人员不断进行人脸识别及运用行人再识别模型进行比对,并将佩戴情况及身份信息存储于数据库。

2.根据权利要求1所述的基于深度学习的劳保用品佩戴情况检测和身份识别的方法,其特征在于:所述步骤S2中数据扩充:通过尺度变化、随机抠图、色彩变化、添加噪声的方法对数据的数据集进行扩充;

所述步骤S2中数据清洗:针对数据的不完整性以及不准确性,针对有问题的“脏数据”,进行数据清洗,对于不完整数据,进行数据加工或剔除,达到清理的目的;

所述脏数据为爬取的错误无关图片;

所述步骤S2中标注的内容包括劳保用品佩戴情况,劳保用品检测位置并附具定位框和人员身份信息;

所述步骤S2中数据集划分是对于劳保用品佩戴情况检测模型,按8:1:1将数据集划分为训练集、开发集、测试集;人脸识别模型和行人再识别数据集较大,按98:1:1将数据划分为训练集、开发集、测试集。

3.根据权利要求1所述的基于深度学习的劳保用品佩戴情况检测和身份识别的方法,其特征在于:所述步骤S3中设计并训练基于多种目标检测算法原理的深度模型的具体操作是,将用于检测的数据集的图像分批次输入到劳保用品佩戴检测网络中,通过卷积层、非线性激活层、ROI Pooling层、注意力激活单元、全连接、跨层连接网络结构得到特征图,在多个尺度通过多任务学习方式得到劳保用品在图片中的位置坐标;并与训练数据集中位置坐标比较,形成误差损失,通过梯度反传,更新深度模型参数。

4.根据权利要求1所述的基于深度学习的劳保用品佩戴情况检测和身份识别的方法,其特征在于:所述步骤S3中训练基于多种目标检测算法原理的深度模型包括一阶段检测思想、二阶段检测思想、多尺度特征图检测思想、级联检测思想、特征融合检测思想。

5.根据权利要求4所述的基于深度学习的劳保用品佩戴情况检测和身份识别的方法,其特征在于:所述一阶段检测思想是基于端到端的检测方法,遵循YOLO类检测方法的思想,同时进行目标类别及位置的预测,特征提取方面主要采用53层的卷积神经网络,训练时采用的损失函数如下:其中,λcoord、λnoobj表示用于不同损失函数的加权值,分别对应有目标的检测框和没有目标的检测框部分,用于缓解大量没有目标的预测检测框造成的分类损失过大引起模型不稳定的问题;图像被划分为s*s个网格,s2表示输入图像总的网格单元数目; 为指示函数,若网格i中存在目标obj,则函数值为1,反之,记为0;指示函数 定义为网格单元i的第j个检测框是否负责对物体obj进行预测,若负责预测记为1,反之,记为0,不参与位置损失的计算;指示函数 表示网格单元i中的第j个检测框不负责检测目标obj,则值为1,反之,记为0;每个网格单元i中与真实检测框具有最大交叠率的预测检测框负责该目标obj的预测,从而能够得到 的值;

x,y分别为检测框中心的横纵坐标,w,h分别为检测框的宽度和长度,i表示第i个网格单元,j表示第j个边界框;C为置信度得分,c为预测的第c类物体,B表示输入图像预测检测框的总数目,pi表示预测目标类别的概率;

xi-x′i表示第i个网格单元中负责进行预测的检测框中心的横坐标预测值-第i个网格单元中检测框中心的横坐标真值;

yi-y′i表示第i个网格单元负责进行预测的检测框中心的纵坐标预测值-第i个网格单元中检测框中心的纵坐标真值;

Ci-C'i表示置信度得分预测值-置信度得分真值;

Pi(c)-P′i(c)表示预测目标类别概率的预测值-预测目标类别概率的真值;

wi-w′i表示第i个网格单元中负责进行预测的检测框宽度的预测值-第i个网格单元中检测框宽度的真值;

hi-h′i表示第i个网格单元中负责进行预测的检测框长度的预测值-第i个网格单元中检测框长度的真值;

在前向传播过程中,张量降采样变化是通过改变卷积核的步长来实现的;当卷积的步长为2时,每次经过卷积层,图像的高度、宽度缩小一半,共有5次卷积的步长为2,特征图将缩小到原始图像的1/32。

6.根据权利要求4所述的基于深度学习的劳保用品佩戴情况检测和身份识别的方法,其特征在于:所述二阶段检测思想是基于区域选择的检测算法,首先提取候选区域,对候选区域提取特征,然后对候选区域进行分类,并且将候选区域回归到与候选区域对应的Groud Truth上面;训练的正负样本使用IOU作为阈值进行区分,用级联的方式对网络进行训练,即:R-CNN检测方法的多阶段扩展,使用一个阶段的输出作为下一个阶段的候选区域。

7.根据权利要求1所述的基于深度学习的劳保用品佩戴情况检测和身份识别的方法,其特征在于:所述步骤S3中对多个深度模型采用Stacking Ensemble的方法进行模型集成具体操作是:首先对训练数据进行划分,划分为k份,采用类似交叉验证的方法,将其中k-1份作为训练集,另外一份作为验证集;然后对分类器进行训练,得到分类器模型M1、M2…Mn,并在剩余的一份数据上进行验证,记为验证集Val;重复前述步骤k次,每次从训练集中抽取k-1份训练,一份验证;将k次交叉验证的结果作为该模型的输出;将各个模型的输出与对应真值作为下一层网络的训练数据,则下一层网络学得分类器模型M1、M2…Mn对应的权值w1、w2…wn,则模型最后的输出为w1 M1+w2 M2+…+wnMn;从而模型集成stacking后的输出结果。

8.根据权利要求1所述的基于深度学习的劳保用品佩戴情况检测和身份识别的方法,其特征在于:所述步骤S4中采用center loss训练人脸识别模型具体操作是:其中,公式(2)前半部分为Softmax Loss,能够使得不同工作人员的人脸特征差异变大,尽可能增大类间的距离;公式后半部分采用center loss使得提取的特征xi尽量靠近该类样本特征的聚类中心 即同一工作人员的人脸尽可能的相似;m表示样本数量,i表示第i个样本,n表示类别的总数目,λ表示调节Softmax loss和center loss重要性的加权参数,yi表示第yi类对应的类别标签,xi∈Rd是第i个样本对应的特征,维度为d, 为该类样本特征的聚类中心,W∈Rd×n表示深度模型最后一个全连接层的权值,Wj表示权值矩阵中的第j列, 表示权值W中第yi类对应的那列权值,上标T表示矩阵转置运算;e表示指数计算,表示神经网络输出的张量中所有值的和;公式(2)的损失能够促进模型快速收敛,使得深度神经网络人脸识别模型从人脸数据中对同一个工作人员人脸提取的特征尽可能的相似,具有中心汇聚的特性,得到能够更好区分不同人脸的判别性特征,达到更好的识别效果。

9.根据权利要求1所述的基于深度学习的劳保用品佩戴情况检测和身份识别的方法,其特征在于:所述步骤S4中采用孪生网络构建训练行人再识别模型的具体操作是;设计双通路深度卷积网络,为通路分别输入工作人员的查询图像和候选集图像,每条通路采用ResNet50卷积神经网络和具有空间注意力机制的网络提取图像的空间特征,两个通路通过共享权值提取同样类型的特征,有利于比较查询图像和候选集图像之间的差异;ResNet50网络主要有16个由1x1,3x3,1x1的卷积层组合成的残差单元叠加而成;通过ResNet50网络提取图像中的全局特征信息,同时,采用具有空间注意力机制的网络进一步提取特征图像中的局部特征;并且将ResNet50网络产生的特征图进行双线性插值调整大小,输入到空间注意力网络,最后将ResNet50网络提取到的具有全局特征的特征图和空间注意力网络提取到的具有局部特征的特征图进行融合,得到最终的特征图;

计算当前查询图像的特征图与候选图像数据库中图像的相似度;

用Xq表示视频监控中拍到的工作人员图像的特征图,Xg表示图像数据库中图像的特征图,d(Xq,Xg)是二者之间的欧式距离,具体可以表示为:d(Xq,Xg)=||Xq-Xg||2  (3)

其中,d(Xq,Xg)越小,说明当前查询图像特征图Xq和候选图像数据库当前比较的图像特征图Xg越相似,即两张图像为同一工作人员的可能性越大;

采用孪生网络提取查询图像和可供对比的工作人员图像数据库中候选图像的特征,训练过程中采用对比损失函数促进模型区分不同工作人员的特征差异,测试时比较查询图像和候选图像特征的欧式距离;

对比损失参数表示为:

Lp=yp*d(Xq,Xg)+(1-yp)[max(0,α-d(Xq,Xg))]2  (4)

其中,Lp表示孪生网络采用的对比损失,max为取最大值的操作,yp为查询图像和比对的候选图像是否为一个人的真实值,若为同一人,取1,不为同一个人,取0,α表示一个阈值。

10.根据权利要求1所述的基于深度学习的劳保用品佩戴情况检测和身份识别的方法,其特征在于:所述步骤S5中运用行人再识别模型进行比对的具体操作是:行人再识别模型将该监控场景下的人员与历史数据及其他监控拍摄场景下的图像中的人员进行比对,再识别;该监控场景下的人员图像为查询图像,历史数据及其他监控拍摄场景下的图像中的人员为候选集图像,对于无法识别的工作人员,将图像序列输入到训练好的行人再识别模型,根据该工作人员的步态、表观特征,识别该工作人员。