欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2020102587275
申请人: 浙江工业大学
专利类型:发明专利
专利状态:未下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于数据分离多尺度特征结合的人体复杂行为识别方法,其特征在于:所述方法包括以下步骤:

步骤1,将位于手腕和下肢位置的加速度传感器数据、陀螺仪数据通过滑动窗口进行分割;

步骤2,将分割后的手腕和下肢位置的传感器数据分别输入手腕位置和下肢位置的一维卷积神经网络与双向长短期记忆单元的混合神经网络,保留神经网络不同层输出的状态信息;

步骤3,对分割后的传感器数据提取特征,并进行标准化处理,通过序列前向选择算法和网络权重比较,对提取的一系列特征进行筛选,保留优势特征向量;

步骤4,将混合神经网络中第二层卷积输出的状态信息与双向长短期记忆单元输出的状态信息结合,得到多尺度状态信息,对得到的多尺度状态信息进行均值池化处理,得到多尺度特征向量;

步骤5,将步骤4得到的多尺度特征向量与步骤3提取的优势特征向量融合,作为全连接网络的输入特征,该输入特征经过全连接网络后得到样本分类标签;

所述步骤2的过程为:将手腕以及下肢位置的传感器数据分别输入手腕位置和下肢位置一维卷积神经网络与双向长短期记忆单元的混合神经网络,传感器数据首先通过一维卷积神经网络,得到有时序的高维状态特征信息RC={{rc1,1,rc1,2,...rc1,50},{rc2,1,rc2,2,...rc2,50},...,{rc32,1,rc32,2,...rc32,50}},其中rci,j表示第i个状态特征向量的第j个值,将这个带时序的高维状态特征信息作为双向长短期记忆单元的输入,得到RL={{rl1,1,rl1,2,...rl1,64},{rl2,1,rl2,2,...rl2,64},...,{rl50,1,rl50,2,...rl50,64}},其中rln,m表示第(m‑1)/2+1个隐层在n时刻的输出。

2.如权利要求1所述的一种基于数据分离多尺度特征结合的人体复杂行为识别方法,其特征在于:所述步骤1的过程为:将位于手腕和下肢位置的加速度传感器数据、陀螺仪数据分别按窗口大小为200进行50%的数据重叠分割,窗口大小200指当传感器频率为50Hz时,一共收集4s数据,作为一个输入数据;50%数据重叠指有重复的分割,每一个窗口大小为200的当前输入数据,后100个数据作为下一个输入数据的前100个数据。

3.如权利要求1或2所述的一种基于数据分离多尺度特征结合的人体复杂行为识别方法,其特征在于:所述步骤3的过程为:对分割后的传感器数据提取特征,提取的特征包括:均值、均方根、标准差、均值的模、标准差的模、绝对中位差、最小值、最大值、峰度、偏度和相关系数,将特征值进行标准化处理,即转换为均值为0,方差为1的正态分布,公式如下:通过序列前向选择算法和网络权重比较来衡量特征的重要性进而选择特征,过程是将得到的所有特征,逐个与经过网络平均池化后的特征向量进行线性融合,融合后的向量作为混合神经网络全连接层的输入,通过输出的结果精度进行取舍,若模型结果精度有所提升,则保留当前特征,若模型精度下降,则剔除该特征;对于添加特征后模型精度值变化在±0.001之间的特征,读取网络模型全连接层的权重,通过比较特征之间的权重大小来判断是否保留该特征,如该特征权重大于已选择的优势特征权重,则保留该特征,否则剔除该特征,最终得到优势特征向量。

4.如权利要求1或2所述的一种基于数据分离多尺度特征结合的人体复杂行为识别方法,其特征在于:所述步骤4的过程为:将混合神经网络中第二层卷积输出的状态信息与双向长短期记忆单元输出的状态信息结合,得到多尺度状态信息,将混合神经网络输出得到的状态信息RC转置,然后和RL结合,得到多尺度状态信息R=M(RC.T,RL)={{rc'1,1,rc'1,2,...rl1,96},{rc'2,1,rc'2,2,...rl2,96},...,{rc'50,1,rc'50,2,...rl50,96}},其中,RC.T代表RC的转置,M代表线性结合,通过平均池化对结合后的状态信息进行显著性特征提取,得到多尺度特征向量,其具体公式如下所示:

Y=avg(R)=[r1,r2,...r96]                  (2)其中,avg代表平均池化,r1,r2,...,r96代表每个隐层单元平均池化之后的输出信息。

5.如权利要求1或2所述的一种基于数据分离多尺度特征结合的人体复杂行为识别方法,其特征在于:所述步骤5的过程为:将步骤4得到的多尺度特征向量Y与步骤3得到的优势特征向量线性融合,得到一个新的特征向量 公式如下所示:其中,[z1,z2,...,zm]为步骤3得到的优势特征向量,[r1,r2,...r96]为步骤4得到的多尺度特征向量,该特征向量 作为全连接层的输入特征,经过全连接层得到样本分类标签,其计算公式如下所示:

其中W为特征向量 的权重系数,b为特征向量 的偏差,output为经过全连接层之后的输出。

6.如权利要求1所述的一种基于数据分离多尺度特征结合的人体复杂行为识别方法,其特征在于:所述步骤2中,将手腕以及下肢位置的传感器数据分别输入各自的CNN与BLSTM混合神经网络,每个人体位置有两个传感器,每个传感器有x、y、z三轴数据,每个数据窗口大小为200,得到两组6×200大小的输入数据;定义其输入数据为l={{l1,1,l1,2,...l1,200},{l2,1,l2,2,...l2,200}...,{l6,1,l6,2,...l6,200}},传感器数据首先经过一维卷积神经网络,设F(*)为CNN网络卷积的计算公式,G(*)为CNN网络池化的计算公式,其计算如下公式所示:fi,j=F(l(i,j‑1),l(i,j),l(i,j+1))                          (5)g(i+1)/2=G(fi,fi+1)               (6)传感器数据通过两层一维卷积神经网络之后得到有时序的高维状态特征信息RC={{rc1,1,rc1,2,...rc1,50},{rc2,1,rc2,2,...rc2,50},...,{rc32,1,rc32,2,...rc32,50}},其中rci,j表示第i个状态特征向量的第j个值,接下来将卷积得到的状态信息RC转置后输入到BLSTM中,Ai为前向LSTM计算节点,定义 为该节点的计算公式,Ai'为反向LSTM计算节点,定义 为该节点的计算公式,如下所示:

其中 为t=i时刻前向长短期记忆神经网络的输出, 为t=i时刻反向长短期记忆神经网络的输出,rci为t=i时刻网络的输入数据, 为前一时刻BLSTM的输出, 为后一时刻BLSTM的输出,BLSTM对CNN输出的高维特征进行充分学习后得到RL={{rl1,1,rl1,2,...rl1,64},{rl2,1,rl2,2,...rl1,64},...,{rl50,1,rl50,2,...rl50,64}},其中rln,m表示第(m‑

1)/2+1个隐层在n时刻的输出。

7.如权利要求3所述的一种基于数据分离多尺度特征结合的人体复杂行为识别方法,其特征在于:所述步骤3中,对200窗口大小的数据进行特征提取,提取的特征包括:均值、均方根、标准差、均值的模、标准差的模、绝对中位差、最小值、最大值、峰度、偏度和相关系数,分别见公式(9),(10),(11),(12),(13),(14),(15),(16),(17),(18),(19);