1.一种实时检测手扶电梯乘客摔倒行为的方法,其特征在于,该方法包括下述步骤:步骤一:采集乘客搭乘手扶电梯视频图像,并且处理视频图像,将视频中乘客摔倒和正常行为分别裁剪作为训练样本,得到训练集和测试集;
步骤二:利用OpenPose提取视频图像中乘客的人体骨骼关键点及预处理,具体为:步骤2.1:提取t时刻图像帧中乘客骨骼关键点 k是骨骼点的数量;使用OpenPose模型提取视频图像中乘客的骨骼关键点序列,记为序列中包含18个骨骼关键点元素,其中每个关键点元素的内容格式为(x,y),x和y分别表示x轴和y轴上的坐标值;
按照从前往后顺序分别为:
Nose,Neck,Rshoulder,Relbow,Rwrist,LShoulder,LElbow,LWrist,RHip,RKnee,Rankle,LHip,LKnee,LAnkle,Reye,LEye,Rear,Lear;
步骤2.2:对提取的 骨骼关键点进行筛选;将i=1,15,16,17,18的骨骼关键点删除得到 其中k是剩余骨骼关键点的数量;
步骤2.3:对缺失的骨骼关键点进行填充得到zt;
步骤2.4:对wt骨骼关键点序列里面的数据进行归一化得到ft;
步骤2.5:提取训练集中训练样本或者视频图像的骨骼关键点序列得到特征Xskeleton;
步骤2.6:将训练集中第N个训练样本提取的骨骼关键点特征用矩阵表示其中n是第N个训练样本中的视频图像帧数,j是每帧提取到的骨骼关键的数量;
步骤三:对提取乘客的人体骨骼关键点序列进行特征提取和处理:步骤3.1:当特征提取时设置g=5帧为一个动态行为提取特征的基础样本,则步骤3.2:从骨骼关键点提取骨骼关键点间的速度,则Pskeleton中的每个基础样本中的每个骨骼关键点提取到的速度表示为:式中t表示帧间时间,vx和vy分别表示x方向和y方向上的速度变化;则Pskeleton中{fn-4,fn-3,fn-2,fn-1,fn}的骨骼关键点的平均速度为:则得到第N个视频图像中乘客骨骼关键点对应的平均速度向量为:q表示第N视频图像中一共提取乘客骨骼关键点平均速度的数量;
步骤3.3:从提取的骨骼关键点 提取乘客的重心位置坐标,其中,xi和yi分别是 中的骨骼关键点坐标;因此,第N个视频图像中提取的乘客重心坐标可表示为:步骤3.4、将预处理的骨骼关键点以及从骨骼关键点中得到的特征整合在一起;则第N个视频图像提取的样本数据记为:步骤四:网络模型的搭建和训练,搭建网络模型FsNet;FsNet使用4层全连接层对提取到的特征进行学习,最后结合softmax作为激活函数,输出类别概率;具体为:步骤4.1、重复步骤2和3提取所有训练集中的视频图像,得到所有训练样本S;
步骤4.2、使用PCA对SN特征进行降维,在能够保存有效信息的同时能够减少特征中多出的冗余信息,得到Sp;
步骤4.3、将Sp特征送入到FsNet网络模型进行学习,使用交叉熵作为训练时的优化函数,具体为:式中,m是一个batch的样本数量,l是样本的数量;FsNet前三层配合ReLU对特征进行学习,最后一层输出2维的类别,并且使用softmax来输出各个类别的概率;其中ReLU函数模型为:步骤4.4:保存训练模型;
步骤五:网络模型的验证和测试;
步骤5.1:将测试集中的视频图像样本按照步骤2和步骤3提取相应样本数据记为S'p;
步骤5.2:将S'p送入FsNet网络中进行识别,输出行为类别;
步骤5.3:将检测结果和真实结果进行对比,如果和真实结果一致则认为检测正确。
2.根据权利要求1所述的一种实时检测手扶电梯乘客摔倒行为的方法,其特征在于,步骤一中得到训练集和测试集的具体方法为:步骤1.1:在手扶梯入口处斜上方设置网络摄像头;
步骤1.2:采集乘客乘坐手扶电梯的视频图像;
步骤1.3:根据视频图像片段中是否存在乘客摔倒行为事件进行裁剪,具体为将有乘客摔倒行为事件作为正样本,没有乘客摔倒事件作为负样本;
步骤1.4:并且分别在正样本中随机挑选占比X1的样本,和负样本随机挑选占比为X2的样本作为测试集,剩余的则作为训练集;X1和X2均为预设值。
3.根据权利要求1所述的一种实时检测手扶电梯乘客摔倒行为的方法,其特征在于,测试视频中也包括存在乘客摔倒和不存在乘客摔倒两类视频片段。
4.根据权利要求1所述的一种实时检测手扶电梯乘客摔倒行为的方法,其特征在于,步骤2.3中对缺失的骨骼关键点进行填充的具体方法为:在wt中可能会存在关键点缺失时,使用相邻帧提取的骨骼关键点进行补充;
当在t时刻提取的第i(i=1...k)个骨骼关键点 缺失,则使用骨骼关键点根据以下公式进行填充:
式中,xt-1和yt-1是t-1时刻提取得到 的骨骼关键点, 是t时刻提取得到 中Neck骨骼关键坐标;
结合t时刻之前帧的骨骼关键点信息,将 缺失的骨骼关键点补充完整。
5.根据权利要求1所述的一种实时检测手扶电梯乘客摔倒行为的方法,其特征在于,步骤2.4中归一化具体步骤为:步骤2.4.1:获取视频输入的图像尺寸大小记为(w,h);
步骤2.4.2:将wt中的骨骼关键点的坐标值归一化到[0,1]之间,得到ft;
ft(x)=wt(x)/w
ft(y)=wt(y)/h
式中,wt(x)和wt(y)分别表示wt中骨骼关键点对应的x方向和y方向的骨骼关键点坐标;
ft(x)和ft(y)分别表示归一化之后的骨骼关键点对应的x方向和y方向坐标。