1.一种基于leap motion的动态手势识别增强方法,其特征在于具体步骤如下:第一部分:数据集与数据输入;
Step1:用手势数据对数据集训练并附加手势目录记录训练状态;
Step2:通过LeapMotion,或其它可获取深度信息的,双镜头红外摄相机,来追踪手掌特征点;
Step3:获取每一帧追踪到的手掌特征点所处的位置含深度信息,数据类型统一为Vector3类型,即,(x,y,z)Step4:以每个特征点为单位,帧数为横轴,特征点在不同数轴(x,y,z)上的值为纵轴,绘制3份拟似曲线的散点图,每帧的数据捕捉量应有FPS≥60,从而保证能够拟似曲线;
第二部分:帧补偿;
Step1:分别取出数据集与实测数据中,前10帧的各轴数据;
Step2:计算出这10帧中两份数据的各节点,各方向上数值的平均差值,并返回一组Vector3类型数据(dx,dy,dz),newXn代表某骨骼关节点的实测数据的第n帧在X轴上的值,baseXn代表某骨骼关节点的数据集数据的第n帧在X轴上的值有如下公式:可获得:Vector3 dPosition=new Vector3(dx,dy,dz);
Step3:在后续数据集与实测数据对比的过程中,令实测数据的每一项Vector3数据减去对应的平均差值(dx,dy,dz),使得数据集与实测数据的散点拟似曲线的前10帧散点位置保持高度近似;
即:
其中finXn代表被帧补偿之后的某骨骼关节点的实测数据在第n帧时X轴上的数据finXn=newXn‑dx finYn=newYn‑dy finZn=newZn‑dz可获得:Vector3 tpPosition=new Vector3(finX,finY,finZ);
以下是数据在内存中存储的范例与完整的数学公式:
List
tempPosition[n]=(finXn,finYn,finZn)Tip:如果实测特征点与数据集的移动轨迹不同或差异过大,则必定为不同的动态手势;加之静态手型的匹配识别,又可区分两个轨迹相似的动态手势相似与否;
第三部分:模糊匹配;
Step1:求解模糊量;从数据集中求出各散点与散点曲线平均值的方差s,乘以极限值制约系数k,k应为小于1且大于0的正小数;该系数可视具体情况而调整;可得模糊量为k*s;
Step2:对数据集散点曲线进行模糊化;令数据集散点曲线各点+k*s或‑k*s,得到上下两条与数据集散点曲线平行的散点曲线,这两条新的散点曲线之间的范围,视为匹配范围;
Step3:叠加帧补偿之后的实测数据;令以(finXn,finYn,finZn)为单位的新存储容器tempPosition中的数据为数据源,绘制一根所有特征点数据经过帧补偿处理的散点曲线,可得到一份拥有5条散点曲线的单轴对比图;
Step4:执行匹配并计算匹配率;所有在匹配范围内的散点视为通过匹配的散点,并予以计数;在对每一帧,每一特征点都执行完匹配后,已有:匹配点数量,参与匹配的散点数量;
定义:匹配率为rate,通过匹配的散点数量为m,所有参与匹配的散点数量为n;
则有: n=FPS*特征点数量*方向轴数量,固定为3,在FPS≥60,同时又有16个特征点的情况下,每秒参与匹配的数据规模应不小于2880个散点,其匹配率的最小精确单位为: