1.一种多通道空中笔势识别方法,其特征在于,包括下列步骤:
步骤M1:用户持握电子笔完成既定笔势动作完成笔势数据样本采集,继而获取表征笔势动作的多通道数据;
步骤M2:对笔势对应的多通道数据进行数据预处理;
步骤M3:构建基于多通道数据的空中笔势识别模型;
步骤M4:完成多通道笔势数据集制备,并使用优化算法优化空中笔势识别模型,训练空中笔势识别网络模型;
步骤M5:完成多通道笔势识别模型的实验评估,用以测试多通道空中笔势识别模型针对不同笔势标签的识别率。
2.根据权利要求1所述一种多通道空中笔势识别方法,其特征在于,所述步骤M1包括:实验者持装有九轴惯性传感器的电子笔进行规定的笔势动作,按下开始采集的按键,实验数据开始录入并传输到上位机,完成笔势数据样本采集。
3.根据权利要求1所述一种多通道空中笔势识别方法,其特征在于,所述步骤M2包括:步骤M2.1:笔势数据样本筛选,由于采集的笔势数据存在数据点冗余和数据污染问题,以及笔势样本采样点过少包含动态信息不足的问题,因此需要去除重复点并剔除长度过短的笔势序列;
首先循环读取所有笔势样本序列,设其中未经数据预处理的笔势序列为Dr[m]=d1,d2,...,dM,其中M为序列长度,第i个采样点为di=[Ci,Ai,Qi],其中Ci为第i个采样点的超声坐标数据,其中Ai为第i个采样点的加速度数据,其中Qi为第i个采样点的四元数数据;
接下来判断第i个采样点di中的三维超声坐标点Ci和第i+1个采样点di+1中的三维超声坐标点Ci+1是否相等,若相等则删去hi+1数据点,则去除重复点后的笔势序列为Dr'[k]=d1',d2',...,dK',其中K≤M;
最后判断去除重复点后的笔势序列长度K和阈值的关系,若K大于阈值则保留笔势序列数据,若小于阈值则删除笔势序列数据;
步骤M2.2:笔势数据平滑,为了去除噪声等干扰,平滑数据的尖端毛刺,使用移动均值滤波器来对三维超声坐标数据和三轴加速度数据进行数据平滑,其计算方法如下:其中Dr'[k]是滤波前的去除重复点后的笔势序列,Db[k]是移动均值滤波后的数据序T T列,分别利用上式三维位置坐标数据Cr=[cx,cy,cz]和加速度Ar=[ax,ay,az] 进行均值滤T T波,滤波后的三维位置坐标数据为Cb=[cbx,cby,cbz] ,加速度为Ab=[abx,aby,abz] ,N是移动均值过滤器中的采样点数;
步骤M2.3:坐标系转换和重力补偿,由于数据采集的硬件设备为惯性传感器,针对相同标签笔势,不同用户进行笔式交互时持笔姿势不同会导致采集到的数据特征变化不同,因此为了提高笔势识别模型的鲁棒性,需要对数据进行坐标转换;
使用惯性传感器解算的四元数利用罗德格里斯公式得到的旋转矩阵将所有经过移动均值滤波后的加速度信号从物体坐标系转换到参考坐标系,其计算公式如下所示:然后,通过旋转矩阵G将物体坐标系的加速度转化为参考坐标系中的转换加速度,其运算过程如式所示:T T
其中[acx,acy,acz] 是参考坐标中的转换加速度,[abx,aby,abz] 是物体坐标中的移动均值滤波后的加速度;
步骤M2.4:去除重力加速度,由于惯性传感单元测量得到的笔势加速度数据是笔势运动产生的纯净加速度和引力加速度的矢量和,因此为了得到纯净的笔势运动加速度,就需要从变换的加速度中减去引力加速度得到单靠运动产生的纯净加速度,计算过程如下所示:T
其中[alx,aly,alz]是参考坐标中运动产生的纯净加速度;
步骤M2.5:笔势数据归一化,由于笔势数据采集设备测量得到的数据之间的振幅偏差通常不一致,因此为了使笔势运动信号的振幅正常化,采用归一化的方法对经过笔势数据样本筛选、笔势数据平滑和坐标转换以及重力补偿后的三维超声坐标数据和加速度数据进行处理避免了笔势数据间的极端振幅缩放,其计算如下:其中i表示笔势序列的第i个采样点,DN[i]是归一化后的笔势序列,D[i]是归一化前的笔势序列,Dmax代表当前笔势序列中的最大值,Dmin代表当前笔势序列中的最小值。
4.根据权利要求1所述一种多通道空中笔势识别方法,其特征在于:所述步骤M3中的多通道的空中笔势识别模型由笔势特征提取层、attention层、输出层构成的;
输入层输入的是经过M2步骤完成数据预处理的空中笔势数据集,输入的笔势数据包含
10个维度,分别为笔势数据这一采样点的三维超声坐标数据(cx,cy,cz)、三轴加速度数据(ax,ay,az)、四元数数据(q0,q1,q2,q3);
所述笔势特征提取层是长短时记忆网络层,该层完成笔势数据时间维度上的特征提取,所述单层长短时记忆神经网络神经元数量为预设个;
其中,Ct‑1是指上一时刻细胞状态,ht+1是上一时刻隐藏状态,Ct是当前细胞状态,ht是当前隐藏状态,Qt是当前输入,Qt+1,Ct+1分别为下一时刻的输入和细胞状态,ht+1是下一时刻隐藏状态,σ、tanh分别为sigmoid函数和双曲正切函数,三个“门控单元”构成了LSTM的主要结构,而“门控单元”指全连接层,其输入是一个向量,输出是一个0到1之间的实数向量,其中遗忘门被用以控制LSTM中细胞状态C的内容,它通过当前时间的输入Qt和前一个时间的输出ht‑1结合σ函数来使得细胞状态Ct‑1乘以σ函数的输出ft,以此决定了上一时刻的细胞状态Ct‑1有多少保留到当前时刻Ct‑1;若激活函数σ输出为0则代表该部分信息需要被遗忘,反之则代表该部分信息继续在细胞状态中传递,其中遗忘门的表达式如下:ft=σ(Wf·[ht‑1,Qt]+bf)
输入门则是完成细胞状态的更新,以此来决定将哪些信息存储在细胞状态中,输入门的表达式如下:it=σ(Wi·[ht‑1,Qt]+bi)
而 决定哪些信息能被加到细胞状态中,计算公式如下:
接下来将旧的细胞状态Ct‑1更新为Ct,通过使用Ct‑1·ft用来丢弃决定要遗忘的信息,再加上 最终构成细胞状态Ct;
其中输出门被用以控制细胞状态Ct有多少信息输出到LSTM的当前输出值ht,其计算公式如下:ot=σ(Wo·[ht‑1,Qt]+bo)
ht=ot·tanh(Ct)
在笔势数据输入时,遗忘门控制上一时间步的细胞状态Ct‑1是否传递到当前时间步,而当遗忘门的输出一直近似1且输入门一直近似0,则过去的细胞状态Ct‑1将一直通过时间步保持到当前时间步;
所述attention层,是指注意力层,Attention层会产生一个权重向量,通过对所有时间尺度的隐藏状态进行加权,把注意力集中到笔势识别中的重要隐藏状态进行识,首先设LSTM输出F个特征向量hi,则变换后的特征向量h'计算方法如下:st=ustanh(Wsht+bs)
αt=Softmax(st)
其中hi是调整前的特征向量,h'是调整后的特征向量,Ws、bs和us为Attention的权重、偏置和时间序列矩阵,tanh是双曲正切函数,st表示第t时刻特征向量ht所决定的能量值,αt为权重系数;
所述输出层是Softmax层,Softmax层可以将多个神经元的输出映射到(0,1)区间,也就是转化为不同标签概率值,其中,Softmax函数如公式如下:其中hi′是数组h'中的第i个元素,Z为总共的笔势动作标签个数,Si表示的是空中笔势识别模型预测当前输入笔势序列为第i个笔势标签的概率,输出层输出的是一个多维向量,多维向量分别表示该笔势序列是对应多种笔势的概率;
Softmax层使用的损失函数是交叉熵损失函数,交叉熵损失函数在模型预测输出接近真实笔势标签时损失函数值越小,反之,则值越大,交叉熵损失函数L需要输入Softmax的输出向量和真实笔势标签,如下边公式:其中yi为笔势序列对应的笔势动作的真实标签,Si是Softmax的输出向量,也就是第i个笔势动作类别的概率值,Z为总共的笔势动作标签个数。
5.根据权利要求1所述一种多通道空中笔势识别方法,其特征在于:所述步骤M4包含多种笔势标签的笔势数据样本划分为训练集和验证集,由于数据集之前是按照实验者类别有序存储的,这样原始的笔势数据会存在一定的分布规律,后续进行模型训练的时候容易出现学习效率不高的情况,为了加强空中笔势识别模型的泛化能力,所以需要对其进行打乱*操作和数据集划分操作,按照m:n的比例划分训练集和测试集,其中m>n;m,n∈N ,并且具有随机性,将训练集作为训练样本输入所述空中笔势识别模型,并使用Dropout算法和Adam算法优化神经网络,训练空中笔势识别网络模型,并输出训练结果;
所述Dropout机制是指在神经网络的训练过程中,将神经元按照一定的概率暂时从神经网络中丢弃,这一过程就类似在对不同的神经网络进行训练,而整个Dropout过程就相当于对很多个不同的神经网络取平均,而由于不同的网络产生不同的过拟合,因此网络整体的过拟合通过一些互为“反向”的拟合之间相互抵消而减少,从而解决了过拟合问题;
所述Adam算法是指结合动量法和RMSprops的算法,利用梯度的一阶矩估计和二阶矩估计动态调整每个参数学习率;
(1) (E)
从经过数据预处理的笔势数据集的训练集中选取包含E个笔势样本{x ,...,x }的(i)一个小批量,对应的笔势标签为y ;
(i) (i)
计算梯度是指计算交叉熵损失函数L(x ,y ,θ)对网络参数θ的梯度,并计算该梯度的有偏一阶矩,和有偏二阶矩,其计算公式如下所示:mt=μ*mt‑1+(1‑μ)*gt
2
nt=υ*nt‑1+(1‑υ)*gt
其中gt为t轮训练中空中笔势识别模型的梯度;μ,υ分别是一阶矩衰减系数和二阶矩衰减系数;mt是对gt的一阶矩估计;nt是对gt的二阶矩估计;
由于mt,nt初始值都为0,因此会向0偏置,需要修正一阶矩和二阶矩的偏差,其计算公式如下:其中, 是对mt,nt的偏置校正;
用修正后的一阶矩和二阶矩求解参数更新量对参数进行更新则,其计算公式如下:其中,ε为平滑项,η为学习率用于控制步幅;
空中笔势识别模型建立完成后,每一次训练都会完成一次网络参数的迭代更新,首先设置初始隐藏状态和初始细胞状态,输入笔势数据与目标张量,前向传播搭建模型,使得模型具有推理计算能力;反向传播在所有参数上采用Dropout算法、Adam算法使用梯度下降计算损失函数,更新权重,在训练过程中观察损失函数的数值变化,当损失函数值平稳后,停止空中笔势识别模型训练。
6.根据权利要求1所述一种多通道空中笔势识别方法,其特征在于:所述步骤M5包括将作为测试集笔势对应的笔势序列作为输入来测试空中笔势识别模型,利用训练好的空中笔势识别模型,测试笔势识别准确率,若模型识别率仍存在较大提升空间则通过调整超参数使用训练集在空中笔势识别模型上完成多次迭代,使空中笔势识别模型在测试集上表现最优。