1.利用手指特征进行层级分类的手势识别方法,其特征在于:包括以下步骤:
步骤一、手势图像预处理:对采集得到的包含手势的图像进行预处理以从中分割出手势区域,并对手势进行方向校正;
步骤二、手指区域分割:根据人手轮廓的生理特点,获取分割所需的候选切割线;然后依据候选切割线分割出手指形状的凸性以及候选切割线的两个端点之间所包含间隔轮廓点数量,确定手势中每一根手指的最佳切割线;最后,利用手指的最佳切割线逐一分割出每个手指区域;
步骤三、手指特征提取:首先,将手指细化成逼近手指中心线的单像素线条,再由手指中心线的像素坐标计算手指的方向特征;然后,根据分割出的每个手指所有像素点在手势圆周面内的方位分布情况来确定手指的位置特征;最后,利用分割出手指尺度不变Hu矩特征构建手指的形状特征;
步骤四、手势分类识别:构建一种嵌入深度稀疏自编码器的层级决策分类器对手势进行逐级分类识别,先利用手指的数量对手势图像进行分组,再利用手指的方向、位置和形状特征在每一组内进行手势类别的细分和识别。
2.根据权利要求1所述的利用手指特征进行层级分类的手势识别方法,其特征在于:所述步骤一中对手势图像预处理包括以下内容:
1.1、在颜色空间中利用贝叶斯模型分割得到肤色区域:首先,采用手势图像在YCrCb颜色空间中的Cr和Cb分量组成肤色特征向量;然后,分别建立肤色区域和背景区域特征向量的先验概率;最后,利用贝叶斯决策规则根据图像不同区域Cr、Cb分量的值分割出肤色手势区域;
1.2、通过形态学处理去除背景区域中的噪声点;
1.3、利用手势区域的最大内接圆确定手势中心点,并以该点作为基准去除手腕部分;
1.4、运用霍夫变换检测出手势轮廓线上直线特征的方向,再根据这些直线方向的平均值将手势旋转校正到竖直方向。
3.根据权利要求1所述的利用手指特征进行层级分类的手势识别方法,其特征在于:所述步骤2中手指区域分割的具体方法为:
2.1、候选切割线判定:在手势轮廓上间隔取点,以手势区域中心正下方的轮廓点作为起始点,沿顺时针方向对轮廓点依次进行编号;当两个轮廓点的连线位于手势轮廓内,或与轮廓重叠,称这一对轮廓点为可见对;计算间隔轮廓点集中每一对可见对之间的距离,并使用手势区域最大内接圆半径归一化处理为dL;设置距离阈值Thd和间隔阈值Thh,采用可见对之间的相对距离dL和可见对之间所包含间隔轮廓点数量hL判定是否为候选切割线:当S(dL,hL)=1时,表示该可见对符合阈值条件,将保留其构成的切割线;
2.2、最佳切割线选择:设Gm表示间隔轮廓点集中所有可见对的数量,Gn为间隔轮廓点集中所有轮廓点相连线段的数量,变量CR表示分割后形状的凸性,用来衡量分割后形状是否满足要求:取可见对中两个轮廓点中较小的一个序号作为切割线序号,根据切割线的序号的相近程度,将它们分为若干组,每一组切割线对应一个手指,在此基础上确定每个手指的候选切割线,计算每组中每一条切割线分割出手指的凸性cL,并统计构成此切割线的可见对之间所包含间隔轮廓点的数量 设置凸性阈值Thc进行满足手势分割凸性的判断:当M(cL,gL)=1时,表示该可见对所构成的切割线满足手势分割的凸性条件;当每一组中的一条切割线同时满足式(2)和(3)时,则该切割线为这一组中的最佳切割线,即所对应手指的最佳切割线;按照从左到右的顺序,对每个手指进行逐一分割。
4.根据权利要求1所述的利用手指特征进行层级分类的手势识别方法,其特征在于:所述步骤3中手指特征提取的具体内容为:
3.1、手指方向特征建立:将分割得到的每个手指区域缩成逼近手指中心线的单像素线条,再利用线条的像素点坐标计算手指的伸出方向,具体方法为:在3×3邻域内检查图像的每一像素点,如果该像素点同时满足:1)在上、下、左、右任一方向没有邻点;2)不是孤立点或终止线;3)去除该象素点不会断开区域,则去除该象素点;不断的遍历手指图像,重复这一步骤直到没有像素点可以去除,直至手指区域被细化成一中心线;
在手指的细化中心线上按照一定的像素间隔取两个像素,坐标分别为(x1,y1)和(x2,y2),将这两个像素相连构成的第i条直线的方向可表示为:沿手指中心细线的方向取nl对这样的像素,可以得到nl条直线的方向
将这nl个方向的平均值定义为该手指的方向特征βf:
3.2、手指位置特征建立:根据公式(5)计算出每一个手指的方向角,将所有手指的方向角进行平均得到手势的主方向,根据手势的主方向的值将手势图像旋转一定的角度,将所有手势图像的主方向统一调整到竖直方向;
以手势区域中心为圆心,以水平向右方向为起始位置,沿圆周方向逆时针将手势区域分成N等份,对每个等份依次进行编号:1,2,3,…,N,采用这些编号定义每个手指的位置,即设pj代表某个手指所包含的第j个像素点的位置,如果这个像素点位于第k个等分区域时,pj=k;则该手指的位置D为所有像素点所在区域编号的平均值:式中,nf为手指所包含像素点的数量;
3.3、手指形状特征建立:设Hu不变矩为 构建如下特征M1,M2,M3,…,M6描述手指的形状: