欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2022100507449
申请人: 常州信息职业技术学院
专利类型:发明专利
专利状态:已下证
专利领域: 信号装置
更新日期:2025-12-12
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.基于深度学习的视频行为识别安防系统,其特征在于:所述系统包括:图像采集处理模块、目标图像获取模块、系统管理中心、静态分析模块、动态趋势预测模块、危险警报模块和安全防卫终端;

所述图像采集处理模块利用深度相机获取儿童在攀爬网上的实时图像,通过卷积神经网络识别算法识别图像;将对应图像及其识别结果输出至所述目标图像获取模块,所述目标图像获取模块用于获取儿童骨骼关节点二维图像;所述静态分析模块用于对关节点进行定位,分析提取儿童至攀爬网边缘的相对距离;所述动态趋势预测模块用于获取部分关键关节点,依据部分关键关节点在图像中的变化轨迹预测儿童的攀爬移动方向;所述危险警报模块用于在预测到儿童有坠落可能时发出警报信号;所述安全防卫终端用于接收警报信号并进行安全防卫;

所述图像采集处理模块包括图像获取单元、主处理单元和图像识别输出单元,所述图像获取单元用于获取深度相机拍摄的儿童攀爬深度图;所述主处理单元用于利用卷积网络识别算法对图像进行识别;所述图像识别输出单元用于输出处理后的图像至所述目标图像处理模块;

所述利用卷积网络识别算法对图像进行识别,包括以下步骤:

S1:在采集的图像中获取儿童骨骼动作序列;

S2:将该序列可视化为一系列骨骼彩色图,将骨骼彩色图叠加得到骨骼能量图;

S3:使用卷积神经网络模型从骨骼能量图和深度图两组通道的图像中提取攀爬动作的时空特征;

m

在步骤S3中:建立多重卷积神经网络模型,输入序列I ,获得一系列彩色图像集合为将每个图像标准化为N×N像素,对所有输入图像采用均值去除,然后每个彩色图像由CNN处理,对于图像 输出Yc后,根据公式:

进行归一化后获得后验概率,其中,l表示第l个动作类别,L表示动作类别总数,根据类分数公式 获得所有CNN输出的平均值,prob(l|lc)表示图像 属于第l个动作类别的概率,L个动作类别被存储在所述系统管理中心中,依据所有CNN输出的平均值判断图像 属于的动作类别,与所述系统管理中心中存储的动作类别进行匹配,提取攀爬动作的时空特征,匹配后输出图像及其特征。

2.根据权利要求1所述的基于深度学习的视频行为识别安防系统,其特征在于:所述目标图像获取模块包括骨骼数据提取单元、攀爬网建模单元和关节点投影单元,所述骨骼数据提取单元用于提取图像中儿童的骨骼关节点数据;所述攀爬网建模单元用于以攀爬网为中心建立二维坐标系;所述关节点投影单元用于将关节点投影到二维模型中,获取儿童骨骼关节点在模型中的二维图像。

3.根据权利要求2所述的基于深度学习的视频行为识别安防系统,其特征在于:所述静态分析模块包括关节点定位单元和相对距离提取单元,所述关节点定位单元用于获取二维模型中的骨骼关节点位置坐标;所述相对距离提取单元用于依据整体关节点坐标分析提取儿童到攀爬网边缘的相对距离。

4.根据权利要求1所述的基于深度学习的视频行为识别安防系统,其特征在于:所述动态趋势预测模块包括关键关节点分析单元、偏转角度测量单元和移动方向预测单元,所述关键关节点分析单元用于在相对距离安全前提下,依据相对距离获取关键关节点,关键关节点为离攀爬网边缘最近的一侧关节点;所述偏转角度测量单元用于测量单个关节点的整体移动轨迹偏转角度;所述移动方向预测单元用于依据偏转角度预测儿童的整体移动方向;所述危险警报模块包括坠落危险预测单元和语音提醒单元,所述坠落危险预测单元用于依据预测数据分析儿童是否有坠落攀爬网的危险,在预测到有危险时利用所述语音提醒单元提醒安全防卫人员对对应儿童进行安全防护,将预测结果传输到所述系统管理中心中,所述系统管理中心包括危险频次统计单元,通过所述危险频次统计单元统计预测结果中儿童处于或前往对应危险区域次数,设置危险次数阈值,将统计结果传输到所述语音提醒单元,当儿童处于或前往对应危险区域次数超出阈值时,利用所述语音提醒单元通知安全防卫人员对对应区域进行安全加固。

5.根据权利要求3所述的基于深度学习的视频行为识别安防系统,其特征在于:利用所述骨骼数据提取单元提取图像中儿童的骨骼关节点数据,利用攀爬网建模单元以攀爬网中心为原点建立二维坐标系,获取到攀爬网的长度为a,宽度为b,设定水平方向的危险区域为距攀爬网中心大于a界的区域,垂直方向的危险区域为距攀爬网中心大于b界的区域,通过所述关节点投影单元将关节点投影到二维坐标系中,利用所述关节点定位单元获取到儿童骨骼关节点的位置坐标集合为(X,Y)={(X1,Y1),(X2,Y2),...,(Xn,Yn)},筛选出横坐标绝对值最大的关节点,关节点坐标为(Xmax,Yj),比较a界和Xmax:若Xmax|<a界,判断儿童未进入水平方向的危险区域;若|Xmax|≥a界,判断儿童已进入水平方向的危险区域;筛选出纵坐标绝对值最大的关节点,关节点坐标为(Xi,Ymax),比较b界和Ymax:若|Ymax|≥b界,判断儿童未进入垂直方向的危险区域;若|Ymax|<b界,判断儿童已进入垂直方向的危险区域,在判断出儿童已进入危险区域后,发送语音提醒信息至所述安全防卫终端。

6.根据权利要求4所述的基于深度学习的视频行为识别安防系统,其特征在于:在判断儿童未进入攀爬网上的危险区域时,将坐标为(Xmax,Yj)的关节点作为水平方向的关键关节点,将坐标为(Xi,Ymax)的关节点作为垂直方向的关键关节点,利用所述关键关节点分析单元获取对应关键关节点的移动变化轨迹,分别获取到水平和垂直方向关键关节点轨迹的始末位置连接向量坐标为(x,y)和(x’,y’),利用所述偏转角度测量单元测量关键关节点的整体移动轨迹偏转角度:根据下列公式计算水平方向的关键关节点在水平方向上的偏转角度α:根据下列公式计算垂直方向的关键关节点在竖直方向上的偏转角度β:

将关键关节点的整体移动轨迹偏转角度传输到所述移动方向预测单元中。

7.根据权利要求6所述的基于深度学习的视频行为识别安防系统,其特征在于:利用所述移动方向预测单元预测儿童的移动方向:若Xmax>0&α<90°或Xmax<0&α>90°,预测儿童往攀爬网水平方向的危险区域移动;若Xmax>0&α>90°或Xmax<0&α<90°,预测儿童往攀爬网水平方向危险区域的相反方向移动;若Ymax>0&β<90°或Ymax<0&β>90°,预测儿童往攀爬网垂直方向的危险区域移动;若Ymax>0&β>90°或Ymax<0&β<90°,预测儿童往攀爬网垂直方向危险区域的相反方向移动,在预测到儿童往危险区域移动时,利用所述语音提醒单元发送警报信号至所述安全防卫终端,利用所述危险频次统计单元统计到预测结果中儿童处于或前往对应危险区域次数为W,设置危险次数阈值为W阈,若W>W阈,说明危险次数超出阈值,利用所述语音提醒单元通知安全防卫人员对对应区域进行安全加固。