欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2019105930692
申请人: 常州大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种施工场景中安全帽佩戴情况的检测及描述方法,其特征在于:包括以下步骤:S1:数据集的制作;

通过网络爬虫技术搜集图片或自行现场采集图片的方式对施工现场场景展开数据集的图像采集工作;所采集的数据囊括各种背景条件、不同分辨率和不同质量的施工场所关于安全帽佩戴的图片,图片中含有佩戴安全帽的施工人员和未佩戴安全帽的施工人员,将采集的所有图片作为安全帽佩戴数据集;安全帽佩戴数据集的制作包括:安全帽佩戴检测数据集制作以及安全帽佩戴图像字幕数据集制作;

S2:目标检测;

S2.1:检测模型的选择,从算法的检测速度和检测精度两方面综合考虑,选取YOLOv3作为施工场景中是否佩戴安全帽的判断及描述模型;

S2.2:自制数据集预处理,对步骤S1中自制的安全帽佩戴数据集的标注信息进行归一化处理,转换成YOLOv3可用的训练格式;

S2.3:K‑means聚类初始化锚框;

在步骤S2.2归一化后的安全帽佩戴数据集上进行K‑means聚类算法初始化锚框,用以预测边界框的坐标;

S2.4:网络模型的训练;

首先对标注目标坐标信息进行定位,然后对标注目标边界框置信度进行预测,以及对预定义目标类别的得分进行预测,最后将未标注测试图片送入训练好的目标检测网络模型中,若检测目标的得分大于设定阈值则框出图像中检测到的目标及输出目标得分,否则无法检测出图像中的目标;

S2.5:网络测试

首先将输入图片大小重置为416×416,然后利用Darknet‑53网络进行图片特征的提取,接着将特征向量送至特征金字塔结构中进行多尺度预测,最后对预测出的边界框进行非极大值抑制,以消除重复检测得到最终的预测结果;

S3:语句生成;

首先利用目标检测算法检测出图像中的视觉概念,其次结合预先定义的规则和句子模板,然后将检测到的视觉概念填充到句子模板中,最后生成安全帽佩戴的描述语句;

步骤S1中安全帽佩戴数据集的制作具体包括:

S1.1:安全帽佩戴检测数据集制作;

按照Pascal VOC2007公共数据集的标注格式使用开源标注工具LabelImg对图片样本进行多标签标注,自动生成相应的xml格式标注文件,其中包含对象名和真实边界框的坐标信息;标注的目标类别为:人、安全帽以及人戴安全帽;

S1.2:以及安全帽佩戴图像字幕数据集制作;

对步骤S1.1标记过的数据集进行语句标注,采用自编程标注软件和人工标注相结合的方式,字幕数据集标注分为:S1.2.1:利用自编程标注软件,读取每张图片的名称以及尺寸信息,并赋予每张图片唯一的图片id号;

S1.2.2:使用自编程标注软件对图片进行字幕标注,人工标注每张图片的5个描述语句,主要围绕施工场景中人员的安全帽佩戴进行描述,并对每个语句赋予唯一的语句id号;

每张图片均有与之对应的图片id号,以及相应的5个语句id号,以json格式存储图片字幕标注数据;

步骤S3中句子描述规则和模板的定义方法具体包括:

S3.1:句子描述规则的定义

依据前阶段目标检测中提取的人、安全帽和佩戴安全帽的人3类目标的视觉概念;通过对3类待检测目标分别设置一个初值均为零的三元组(m,n,p)以统计待检测目标的个数,其中m表示检测出的总人数,n表示检测出的安全帽的总个数,p表示检测出的佩戴安全帽的人数;当0≤p≤m时,佩戴安全帽的人员应不超过施工现场的总人数,否则当p>m时视为监测有误,无法生成安全帽佩戴的描述语句;若检测出的佩戴安全帽的人数和总人数相等,即p=m则表示所有人均佩戴了安全帽;若检测出的佩戴安全帽的人数和总人数不等,即p≠m,则表示部分人佩戴了安全帽,尚有人员未佩戴安全帽;

S3.2:句子描述模板的定义

句子描述模板通过图片字幕标注生成,单词的生成来源于原始的图片字幕标注或是目标检测算法提取出的视觉概念;视觉单词的本质是一个标记,目的是为描述图像中特定区域的单词保留空位;采用目标检测算法以提取出视觉概念,结合基于规则和模板的方法,生成施工场景中施工人员安全帽佩戴的图像描述语句。

2.如权利要求1所述的施工场景中安全帽佩戴情况的检测及描述方法,其特征在于:步骤S2.2中对标注信息进行归一化处理具体包括:对样本标注数据归一化处理,即将样本标注数据除以图像的宽度和高度,以将最终的数据控制在0~1之间,便于训练样本数据的快速读取,同时满足多尺度训练的要求,具体归一化公式如下式所示:其中,xmax,xmin,ymax,ymin表示原始样本边界框标注信息,width,height表示图片尺寸,x,y,w,h表示归一化后的标注信息,(x,y)为目标的中心点坐标,w,h为目标的宽和高;归一化后的数据样本中,每张图片的每个目标的边界框信息均包含5个参数x,y,w,h,class_id,其中class_id为目标类别编号。

3.如权利要求1所述的施工场景中安全帽佩戴情况的检测及描述方法,其特征在于:步骤S2.4中网络模型的训练步骤具体包括:S2.4.1:目标坐标信息定位;

输入图片表示为一个大小为n×m×3的张量,其中n和m表示图片的宽度和高度,单位为像素,3表示RGB三通道数;首先将不同大小的图像自动调整为416×416的固定尺寸,再将原图划分为13×13的网格,由目标中心点所在的网格负责该目标的检测;每个网格将预测覆盖在该网格上的3个边界框以及这些边界框的置信度,每个边界框包含6个预测量:x,y,w,h,confidence和class_id,其中(x,y)表示预测的边界框的中心与网格边界的相对值,w,h表示预测边界框相对于整张图片宽度和高度的比值,confidence表示置信度,用以剔除低于阈值的边界框,class_id表示目标类别编号;每个边界框的预测信息包含边界框的坐标、宽度和高度,边界框坐标计算公式如下:bx=σ(tx)+cx,by=σ(ty)+cy

其中,(bx,by)表示预测的边界框中心坐标,bw,bh表示预测的边界框的宽和高;tx,ty,tw,th表示网络学习的目标,cx,cy是网格的坐标偏移量,pw,ph是预设的锚框维度;

S2.4.2:边界框置信度的预测;

目标坐标信息定位之后,需要预测边界框的置信度,依据标注的3类目标:人、安全帽和人戴安全帽,为每个网格预测3个边界框,每个边界框包含6个预测量,因此通道数为3×(4+

1+3)=24,输出的3种尺度特征图分别为13×13×24、26×26×24、52×52×24,单位为像素;

S2.4.3:预定义目标类别的得分预测;

完成边界框的置信度预测,再对预定义目标类别的得分进行预测,为提高小目标的检测效果,采用多尺度预测的思想,分别用13×13、26×26、52×52这3种不同尺度的特征图进行预测,单位为像素;

S2.4.4:模型的训练

根据自制的安全帽佩戴数据集的特点,对YOLOv3网络的配置文件做相应的修改;在进行训练之前,将权重文件根据修改后的网络配置文件转换成Keras框架下的权重文件,以便预训练模型的加载,为模型的训练提供初始化参数。