1.基于卷积神经网络的手语字母拼写识别方法,其特征在于:所述方法包括如下步骤:
步骤1,手部目标检测,通过深度相机获取手语彩色图像和深度图像,通过目标检测网络将手部图像切割出来,同时根据手部切割图像尺寸信息及深度相机内参对深度图像进行切割;
步骤2,对获取的局部深度图像进行归一化,将深度图像转换为灰度图像,并且对图像进行基于灰度图像的伪色彩线性变换,实现深度图像可视化;
步骤3,获取可视化后的深度图像并根据色域对手势进行分割,同时按照手势融合规则对分割手势结果进行判别并进行色彩融合;
步骤3中,将图像从RGB图像空间转换为HSV颜色空间;HSV由色调Hue、饱和度Saturation及明度Value三个分量组成;首先修改H的值来确定待分割颜色,其次动态调整S、V的值确定待分割颜色范围;
根据颜色空间表确定颜色的空间范围,同时根据原始图像尺寸生成掩膜空间(img,lowerb,upperb),其中img是hsv格式图像、lowerb和upperb为掩膜空间范围;
拷贝hsv图像并对图像像素做掩膜运算,将掩膜空间范围内的图像像素值变为255即白色,其余图像像素值变为0即黑色,最后将原始灰度图像与根据掩膜空间处理后的图像做与运算,即剔除黑色并保留白色,获取原图掩膜位置区域,分割完毕;
步骤3中,为了保持手语手势的完整性,记录区域内的多种颜色矩阵并将之融合起来;
将经过灰度值伪色彩线性变换的图像通过基于色域分割法将像素信息分别保存于两个图像矩阵Img_matrix_1、Img_matrix_2,根据经验手动设置融合阈值Eff_low_1、Eff_low_2通过如下判别规则进行融合:规则1,若Img_matrix_1或Img_matrix_2的像素值小于Eff_low_1,将当前手语分割图像指定为Img_matrix_2或Img_matrix_1;
规则2,若Img_matrix_1或Img_matrix_2的像素值大于Eff_low_2,将当前手语分割图像指定为Img_matrix_1或Img_matrix_2;
规则3,若Img_matrix_1或Img_matrix_2的像素值大于Eff_low_1且小于Eff_low_2,则通过下述融合公式对图像矩阵进行融合:result=255-(255-Img_matrix_1)×(255-Img_matrix_2)÷128其中result为图像融合后的图像,通过此公式将两种颜色的图像融合到一起显示出完整的手语手势图;
步骤4,对生成的分割手势结果灰度化二值化处理,并且对处理结果进行像素反转,处理完毕将像素反转后的图像送入卷积神经网络进行训练;
步骤5,训练时将像素反转后的图像尺寸归一化并送入卷积神经网络进行特征提取,将输出特征与全连接层相连接,最后通过softmax输出24分类概率;在网络训练设定轮数后保存训练模型并加载用来测试,对于采集的数据集划分训练集和测试集,进行五次交叉训练,验证模型泛化性并保存最佳训练模型。
2.根据权利要求1所述的基于卷积神经网络的手语字母拼写识别方法,其特征在于:步骤1中,根据手语彩色图像生成图像金字塔,使其满足不同尺寸物体的需求,从图像金字塔中通过选择性搜索算法获得若干个可能存在目标的感兴趣区域;将感兴趣区域缩放成227*227的大小并输入到卷积神经网络提取特征,将卷积神经网络全连接层的输出作为SVM分类器的输入对手语彩色图像进行分类,对于SVM分好类的感兴趣区域做边框回归,用回归框的回归值校正初始窗口,生成预测窗口坐标及预测概率,选择预测概率最大的结果进行输出并保存。
3.根据权利要求1所述的基于卷积神经网络的手语字母拼写识别方法,其特征在于:步骤2中,深度相机获取的深度图像的信息为16位,像素范围为0到65535;首先需对16位深度信息进行归一化处理为8位深度,假设原深度信息矩阵H,经过归一化后为J,则有如下公式:归一化完毕所有像素信息被归一化到0~255范围内,此时深度信息被转化为灰度信息,同一距离像素拥有相同灰度值。
4.根据权利要求3所述的基于卷积神经网络的手语字母拼写识别方法,其特征在于:步骤2中,对原深度下的数据做基于灰度信息的伪色彩线性变换,使原位深度下的最小值和最大值分别对应转换后位深度下的最小值和最大值,假设Src为表示图像的三维数组,维度分别是高度、宽度、维度,Dst为线性变换后输出数组,scale为比例因子,shift为偏移量,通过如下线性变换公式进行变换:Dst=Deal(Src)×scale+(shift)
其中像素反变换矩阵Deal(src)由下述线性变换公式得出:
其中R(x,y)、G(x,y)、B(x,y)分别表示R、G、B通道的颜色值,f(x,y)表示特定点灰度图像的灰度值,f是所选灰度图像的灰度值;
按照比例因子scale对数组进行缩放并对元素进行偏移,偏移量为shift,缩放完毕图像深度信息及像素信息发生相应变化从而色彩发生改变;
根据手部离相机远近确定比例因子,比例因子通过如下公式确定:
D×scale=255
其中D为感兴趣区域到相机的距离,通过设置不同感兴趣区域将不同的区域颜色进行高亮。
5.根据权利要求1所述的基于卷积神经网络的手语字母拼写识别方法,其特征在于:步骤4中,彩色图像的灰度按加权的方法转换,R、G、B的比为3:6:1,假设某点的颜色为RGB,则有如下计算公式:Gray=R×0.3+G×0.59+B×0.11
其中,R、G、B是图像三原色分别代表红绿蓝,Gray为图像的灰度值,系数是加权转换后得到的数值;考虑从局部像素点出发,以当前像素点为中心逐步计算出阈值,为了凸显图像像素特征需要对图像进行阈值反转,首先通过局部阈值二值化方法对图像做二值化处理,接着通过如下公式将阈值化结果进行反转:Reverse=255-binary
其中Reverse为翻转后的图像,binary为单通道二值图,通过此方法,将图像翻转使得图像特征明显。
6.根据权利要求1所述的基于卷积神经网络的手语字母拼写识别方法,其特征在于:步骤5中,提出了一个轻量级的卷积神经网络,网络共有三个卷积模块组成分别是conv1、conv2、conv3,分别设置第一层为32通道的卷积核,第二层为64层,第三层为128层;
使用ReLU非线性激活函数,每层卷积完毕进行最大值池化来降低参数数量,设置每层卷积层的卷积步长为3;设置dropout防止网络过拟合。
7.根据权利要求6所述的基于卷积神经网络的手语字母拼写识别方法,其特征在于:步骤5中,训练时将像素反转后的图像尺寸归一化并送入卷积神经网络进行特征提取,将输出特征与全连接层相连接,最后通过softmax输出24分类概率。
8.根据权利要求7所述的基于卷积神经网络的手语字母拼写识别方法,其特征在于:步骤5中,待模型训练完毕,加载模型并进行手语识别;首先相机获取手语深度图像并对其进行分割,接着将分割后的手语深度图像送入网络进行预测,并将预测结果以文字方式输出,最后记录预测结果并与真实标签比对,验证模型手语识别性能。