1.一种基于卷积神经网络和循环神经网络的人体行为识别方法,其特征在于,用包括以下步骤:
步骤1),用户在固定的位置持续挥手5次,使用传感器跟踪人体行为,收集时设置时间步长为16毫秒,收集该时间段内该用户主要的25个关节的3维坐标V={(x1,y1,z1),(x2,y2,z2),...,(x25,y25,z25)};其中,x轴为人体竖直方向垂直且正轴指向前方,y轴与人体竖直方向平行且正轴指向头部,z轴为人体竖直方向垂直且正轴指向人体左侧;同时采集该时间段内此场景的RGB视频;
步骤2),将步骤1)中人体25个关节的3维坐标作为循环神经网络RNN的训练集,以该循环神经网络RNN的训练集训练一个循环神经网络RNN,循环神经网络RNN中使用门控循环单元GRU对输入的坐标进行操作,其具有批量归一化,随机丢失的功能,所述循环神经网络RNN包括两个双向门控循环层、一个隐藏的全连接层和一个softmax模型的输出层,线性整流函数即ReLU函数作为激活函数,并使用了dropout机制将运动特征映射到挥手的动作类别,得到训练好的循环神经网络RNN;
得到训练好的循环神经网络RNN的方法如下:步骤21),将步骤1)中人体25个关节的3维坐标作为循环神经网络RNN的训练集,循环神经网络RNN的训练集的维度为16×(25×3);
步骤22),在该循环神经网络RNN的训练集上训练循环神经网络,首先经过两个双向门控循环层,使用门控循环单元GRU作为该循环层的基本单元并使用双向递归神经网络,其分别训练从t=1到t=T以及t=T到t=1的输入数据,其中,t表示该数据集中的时间变量,T表示该数据集中的最后一刻时间;
步骤23),利用GRU型循环神经网络RNN进行场景特征分类,使用更新门控制前一时刻的状态信息被带入到当前状态中的程度,更新门zt=σ(Wz·[ht‑1,xt]),其中,ht‑1为t‑1时刻候选记忆单元的值,xt表示t时刻输入的数据,Wz表示对应更新门数据记忆单元值的权值,zt表示t时刻更新门的值,σ表示sigmoid激活函数;
步骤24),使用重置门控制前一状态有多少信息被写入到t时刻候选记忆单元ht,重置门rt=σ(Wr·[ht‑1,xt]),其中,ht‑1为t‑1时刻候选记忆单元的值,xt表示t时刻输入的数据,Wr表示对应更新门数据记忆单元值的权值,rt表示t时刻重置门的值;
步骤25),计算候选记忆单元值,候选记忆单元 其中ht为t时刻候选记忆单元的值,ht‑1为t‑1刻候选记忆单元的值,xt表示t时刻输入的数据,W表示当前时刻GRU单元的权值, 表示候选记忆单元的值,tanh表示三角正切函数;
步骤26),计算当前时刻记忆单元状态值,t时刻记忆单元 其s中,⊙表示逐点乘积,记忆单元状态更新取决于t‑1刻候选记忆单元的值ht‑1和候选记忆单元的值 并且通过更新门和重置门分别对这两部分因素进行调节;
步骤27),最后得到循环神经网络的输出yt=σ(W·ht),使用softmax激活函数传递到全连接层,并将输出解释为概率,yt表示使用循环神经网络预测的概率;
步骤3),将步骤1)采集到的RGB视频以16毫秒为时间步长划分为连续的RGB帧,并调整它们的分辨率,将其作为卷积神经网络CNN的训练集;卷积神经网络CNN使用多卷积核对输入的RGB帧流进行卷积操作,所述卷积神经网络CNN包括卷积层、池化层、全连接层和一个softmax模型的输出层,使用Sports‑1M数据集上的预训练参数微调该模型,以减少过度拟合和训练时间,得到训练好的卷积神经网络CNN;
得到训练好的卷积神经网络CNN的方法如下:步骤31),将步骤1)采集到的RGB视频以16毫秒为时间步长划分为连续的RGB帧,并调整它们的分辨率,将该RGB帧流作为卷积神经网络CNN的训练集,将其输入称为c×t×h×w大小,其中,c是通道数,t是时间步长,h和w是RGB帧的高度和宽度;
步骤32),卷积神经网络CNN接收视频帧的平行化输入,对长度为h的卷积窗口,卷积神经网络CNN通过卷积核对输入矩阵x1:n进行卷积操作,卷积核输出值为ci=f(w·xi:i+h‑1+b),其中 为卷积核权重, 表示w在实数域中取值,d表示xi维度, 为偏置量,f为激活函数,xi:i+h‑1为一个卷积窗口的帧向量矩阵,时间梯度为n的帧流,通过卷积操作可得到卷积后特征向量c=[c1,c2,…,cn‑h+1];
步骤33),从每一个特征向量中提取一个最大的值,有m个卷积核的窗口得到特征向量其中, 为卷积神经网络提取得到的特征向量, 表示第m个卷积核的特征向量;
步骤34),通过softmax函数输出分类结果,得到如下公式:其中,y表示使用卷积神经网络预测的概率, 为下采样层输出的正则项限制,为对应元素相乘, 为全连接层权重矩阵, 为偏置量,通过随机梯度下降优化器优化卷积神经网络CNN;
步骤4),将步骤2)训练好的循环神经网络RNN的输出结果作为人体关节3维坐标数据的时间特征向量,将步骤3)训练好的卷积神经网络CNN的输出结果作为RGB视频的时空特征向量,将人体关节3维坐标数据的时间特征向量和RGB视频的时空特征向量相连接结合,连接后将其归一化,并馈送到线性支持向量机SVM的分类器,使用验证数据集,找到线性支持向量机SVM的惩罚系数C,得到综合识别模型;
得到综合识别模型的方法如下:
步骤41),将步骤2)训练好的循环神经网络RNN从人体3维坐标数据进行提取,其输出结果作为时间特征向量,将步骤3)训练好的卷积神经网络CNN从RGB视频进行提取,其输出结果作为时空特征向量,将时间特征向量和时空特征向量连接成一个特征数组,并进行归一化;
步骤42),以归一化后的特征向量组作为输入,以每个归一化后的特征向量组对应的具体动作或行为标记作为输出,递交到线性支持向量机SVM中训练,其优化模型如以下公式:T
yi(ωxi+b0)≥1‑ξi
s.t.ξi≥0
i=1,2,...,N
其中,ω表示输入的向量,C表示惩罚系数,ξi表示对于第i个样本点的分类损失,yi表示每个样本对应的动作标记,b0表示截距,N表示输入SVM的特征向量总数;
步骤43),通过训练和验证集,找到惩罚系数C的最佳值,得到综合识别模型;
步骤5),识别时,采用步骤1中的方法采集待识别的人体行为的人体25个关节的3维坐标和RGB视频,将采集到的人体25个关节的3维坐标放入到步骤2)训练好的循环神经网络RNN中得到时间特征向量,将采集到的RGB视频到步骤3)训练好的卷积神经网络CNN中得到时空特征向量,将时间特征向量和时空特征向量连接成一个特征数组,并归一化后导入综合识别模型,利用综合识别模型识别人的行为。
2.根据权利要求1所述基于卷积神经网络和循环神经网络的人体行为识别方法,其特征在于:步骤1)中所述传感器为Microsoft Kinect v2传感器。
3.根据权利要求2所述基于卷积神经网络和循环神经网络的人体行为识别方法,其特征在于:步骤33)中通过随机梯度下降优化器优化卷积神经网络CNN时,初始学习率为
0.0001,当观察到没有训练进展时,学习率下降一半。
4.根据权利要求3所述基于卷积神经网络和循环神经网络的人体行为识别方法,其特征在于:步骤41)中归一化的公式:
其中,xi表示特征数组中的元素,x'i表示归一化后的特征向量中的元素。
5.根据权利要求4所述基于卷积神经网络和循环神经网络的人体行为识别方法,其特征在于:步骤31)中将分辨率从1920*1080像素调整到320*240像素。