1.一种基于Leap Motion的手指无接触绘图方法,其特征在于,采用SVM算法进行静态手势识别,采用静态手势和运动追踪数据约束性条件相结合的方法识别动态手势,根据识别的静态手势和动态手势判断用户手势动作,应用QT信号槽机制实现识别后的手势数据与绘画系统之间的通信,不同的手势动作对应不同事件,响应不同的处理,再将运动追踪数据中食指指尖在传感器观察坐标系下的位置映射为屏幕坐标系下画笔的位置,实现图形和线条的绘制,完成手指无接触绘图;
选取由手指到掌心的距离和手指方向与手掌方向的夹角作为特征向量,通过Leap Motion API获得指尖和掌心的坐标,得到指尖到掌心的距离;然后根据指尖在手掌平面上的投影的坐标计算与手指方向向量的夹角;对距离值进行标准化处理,构造特征向量集;给不同手势对应的特征向量加上不同标签,将特征向量集均匀分为训练集和测试集,将训练集转化为LIBSVM指定的格式,调用SVMTRAIN进行模型的训练,得到模型文件model.txt;应用模调用SVMPREDICT函数对测试集数据进行预测,返回预测结果对应的标签,与测试集原来的数据进行比较,得出预测准确度;最后通过不断调整LIBSVM参数C和gamma的值,并重复模型训练和预测步骤,筛选出准确度最高的C和gamma的搭配,得到最优模型。
2.根据权利要求1所述的方法,其特征在于,以手指的点击动作作为动态手势,应用SVM算法对伸出手指的动作进行识别,然后调用Leap Motion API得到手指指尖的速度,当指尖向下按的速度大于阈值的时候触发按下按钮事件;当指尖向上释放的速度达到某个阈值时触发释放按钮事件;手指在短时间内按下和弹起判定为单击事件;手势识别完成后,按照结果的不同触发不同的事件做出绘画响应。
3.根据权利要求1所述的方法,其特征在于,指尖到掌心的距离Fi计算如下:Fi=||Pi‑C||
其中,i=1,2,3,4,5,Pi为指尖坐标,C为掌心坐标。
4.根据权利要求1所述的方法,其特征在于,夹角Ai计算如下:其中,Pi'为指尖Pi在手掌平面上的投影,i=1,2,3,4,5,D为手指方向向量。
5.根据权利要求4所述的方法,其特征在于,特征向量集S计算如下:S=(F1,F2,F3,F4,F5,A1,A2,A3,A4,A5)其中,Fi为指尖到掌心的距离,i=1,2,3,4,5。
6.根据权利要求1所述的方法,其特征在于,应用QT信号槽机制进行通信的步骤如下:S201、实现并重写leapMotion的监听者类,并使该类继承QOBJECT类,使其能够使用信号槽机制;
S202、在SampleListener类中定义信号函数getGestureData,将参数设置为手当前的坐标值和当前手势对应的标号整型值;
S203、定义参数与信号函数一致的槽函数,并将槽函数与信号函数进行连接,槽函数对信号函数发射的数据进行处理,依据坐标值和相应手势含义实现绘画工具的选择、绘画、空操作等功能,实现手指无接触绘画。
7.根据权利要求6所述的方法,其特征在于,步骤S203中,依据手指坐标当前所属的绘画区域、工具选择区域、具体某一工具的包围矩形区域及手势含义的逻辑运算判断实现对绘画的控制,手势含义包括模拟鼠标单击的点击手势,模拟鼠标弹起的弹起手势以及模拟鼠标移动的伸出食指手势)。
8.一种基于Leap Motion的手指无接触绘图系统,其特征在于,包括Leap Motion控制器、手势识别子模块和绘画子模块;
Leap Motion控制器通过传感器获得手部运动追踪数据,同时通过Leap Motion API对硬件设备进行控制;
手势识别子模块利用Leap Motion控制器采集的手部运动追踪数据进行分析,识别出不同手势,向绘画子模块发送消息;
绘画子模块接收手势识别子模块发出的消息和数据采集子模块获得的数据,并做出响应。
9.根据权利要求8所述的绘图系统,其特征在于,Leap Motion控制器上设置有两个红外线摄像头和一个光学传感器,能够识别人的双手和长条状工具,并定位各个关键点的位置与速度;手部运动追踪数据包括如下:手类:提供与手有关的物理量,包括手掌的法向量和手臂的伸展方向;
手臂:一个类似于骨骼的对象,提供手臂的方向、长度、宽度和端点;
手指类:提供指尖的位置和速度以及手指指向的方向;
指骨类:将手指分为四段,每段用一个对象来表示并提供了每节指骨的位置坐标信息;
摄影机图像:提供Leap Motion控制器拍摄的原始图像,原始图像数据被封装成帧,并作为监听者对象回调函数的传入参数,根据onFrame函数获取数据并进行处理。