欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2019105403497
申请人: 中国矿业大学
专利类型:发明专利
专利状态:已下证
专利领域: 土层或岩石的钻进;采矿
更新日期:2024-01-05
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.矿井下皮带运输人员人机交互行为安全监控与预警方法,其特征在于,包括以下步骤:

(1)通过监控摄像头采集矿井下的实时视频流;

(2)利用相机标定原理对视频中的皮带进行尺寸估计,再据此划定一个三维的ROI区域,即皮带危险区域;

(3)在视频中检测所有人的人体关键点,通过局部亲和场衡量关键点之间的关联程度,并结合二分图匹配优化方法将属于单个人的人体关键点进行聚类,达到检测视频中每个人的人体关键点的目的;

(4)确定检测到的人体关键点在世界坐标系中x、y轴分量,对每个人体关键点自定义一个高度分量z,3个分量组合为完整的人体关键点的世界坐标;

(5)根据皮带危险区域与每个人的人体关键点的相对位置关系,判断人机相互行为是否安全,进而确定是否需要预警。

2.根据权利要求1所述矿井下皮带运输人员人机交互行为安全监控与预警方法,其特征在于,在步骤(3)中,将视频中的每一帧图片作为输入,提取其中的深层特征,得到的特征图F;将特征图F输入到两条卷积神经网络的步骤1中,在步骤1中,第一条卷积神经网络会预测一组关键点的置信图S1=ρ1(F),其中ρ1表示该卷积神经网络在步骤1的推理过程;第二条卷积神经网络会预测一组局部亲和场 其中 表示该卷积神经网络在步骤1的推理过程,它的作用是将预测出的人体关键点根据每个人、每条肢干进行聚类,以得到一组完整的人体关键点信息;随后,两条卷积神经网络步骤1的预测结果分别与原始的特征图F串联在一起输入到后续步骤中,以得到更加精确的预测结果,后续步骤通过下式表示:t t t

上式中,S和L 分别为步骤t得到的置信图和局部亲和场,ρ和 分别为两条卷积神经网络步骤t的推理过程。

3.根据权利要求2所述矿井下皮带运输人员人机交互行为安全监控与预警方法,其特征在于,在两条卷积神经网络的每个步骤后分别应用均方误差损失函数,两条卷积神经网络在步骤t的损失函数如下:上式中, 和 分别为两条卷积神经网络在步骤t的损失函数;p为待检测图片中任意一点的坐标;W(p)为一个布尔值,当训练数据集中的标注不存在时W(p)=0,反之W(p)=1;

表示点p处第j个人体关键点在步骤t的置信图, 表示置信图的真实位置;

表示点p处在步骤t的局部亲和场, 表示局部亲和场真实位置;

定义图片中任一位置p点的关键点置信度的真实参照如下:

上式中,xj,k表示已标注的训练样本中第k个人的第j个人体关键点的真实坐标,σ是控制置信点高斯图离散程度的常数;

进行取最大值的操作,则得到第k个人的第j个人体关键点的置信参照

4.根据权利要求1所述矿井下皮带运输人员人机交互行为安全监控与预警方法,其特征在于,一个人包含9个人体关键点,这9个人体关键点分别表征人的鼻子、胸口、右肩、右手、左肩、左手、胯骨、右脚和左脚。

5.根据权利要求1所述矿井下皮带运输人员人机交互行为安全监控与预警方法,其特征在于,在步骤(5)中,根据步骤(2)得到的皮带危险区域确定皮带危险区域正视图投影和俯视图投影;对于视频中的每个人,计算其人体关键点与皮带危险区域俯视图投影之间的最小距离dT、人体关键点与皮带危险区域正视图投影之间的最小距离dF以及该人体关键点的高度h,若dT和dF同时小于等于安全距离阈值d,且h小于皮带危险区域正视图投影的高度,则判断该人员的人机交互行为是不安全的,发出预警。

6.根据权利要求5所述矿井下皮带运输人员人机交互行为安全监控与预警方法,其特征在于,在步骤(5)中,构建深度神经网络分类器,利用该分类器对检测到的人体关键点信息进行动作分类,将每一帧图片中的人体关键点位置信息组合为一个样本,对应于一种动作的类别,使用标注好的大量人体关键点—动作样本对分类器进行训练,使其具备识别单帧图片中人体动作的能力,根据分类器的识别结果确定不同动作对应的安全距离阈值di,其中下标i代表第i类动作。

7.根据权利要求6所述矿井下皮带运输人员人机交互行为安全监控与预警方法,其特征在于,考虑到监控视频中的人员动作具有连贯性,在单帧动作识别的基础上加入了连续多帧的概率判断模型:以连续的M张图片为判断单元,使用单帧动作分类器返回对这M张图片中动作的分类结果,并记录不同分类结果的计数,最后计算各个分类结果占总结果数的比率,比率最大的即为这M张图片的动作分类结果。

8.根据权利要求6所述矿井下皮带运输人员人机交互行为安全监控与预警方法,其特征在于,动作分类结果包含3类:摔倒、下蹲和吸烟;对这3类动作分配不同的安全系数γi,并据此计算各自的安全距离阈值di=γi·d,其中i=1,2,3,根据安全距离阈值判断该动作下人员的人机交互行为是否安全。