1.一种基于改进VGGNet网络和PCA的静态手势识别方法,其特征是:包括如下步骤:(1)输入原始图像I(x,y);
(2)预估出每个位置的噪声,并剔除;假设人眼看到的图像I是图像光照分量L和反射率分量R的乘积,如公式1所示:I(x,y)=R(x,y)·L(x,y) (1)(3)分离三个颜色通道空间分量并转化到对数域;从所拍摄的图片I中合理计算出光照L,保留住物体的固有属性R,并对公式1两边取对数,然后令i(x,y)=log(I(x,y)),r(x,y)=log(R(x,y)),l(x,y)=log(L(x,y))得到公式2:i(x,y)=r(x,y)+l(x,y) (2)(4)设置高斯函数尺度的个数及大小;
(5)高斯函数对图像的三个通道进行滤波,滤波后的图像就是光照分量,获取图像r(x,y);反射分量计算公式如下:ri(x,y)=ii(x,y)-ii(x,y)*G(x,y) (3)其中,ii(x,y)表示第i个通道的原始图像,G(x,y)为高斯滤波函数,ri(x,y)表示第i个通道的反射分量,*代表卷积,σ为尺度参数;
(6)采用多尺度的Retinex算法对手势图像进行数据增强;
(7)构建基于VGGNet网络结构:采用VGGNet16网络模型进行训练,对VGGNet16进行网络结构定义及初始化,设置学习率lr、批大小batch和迭代轮次epochs;
(8)训练模型:模型的训练和验证交替进行;
(9)将步骤(8)训练好的手势模型最后一个FC层提取到的特征作为图像的特征表示参与手势图像检索任务;
(10)将步骤(9)训练好的VGGNet模型网络进行改进,模型的输入为手势图像和类别标签,类别标签作为监督信息学习图像特征,每个分支学习不同的标签信息,经过全连接层将之前两个分支学习到的特征进行融合,得到非线性组合特征,然后经过哈希层得到低维度的哈希特征,再经过哈希层得到二进制哈希吗,最后将二进制哈希码作为特征向量来进行手势识别;
(11)将经改进后VGGNet模型处理后的手势数据利用主成分分析算法进行降维;将图像的高维特征经过矩阵变换压缩为一个较短长度的向量,即Y=WTX,其中X为图像的高维特征,W是压缩矩阵,其计算过程满足使样本点经过W压缩后具有最大的方差,Y是压缩后的图像的低维表示;
(12)使用主成分分析算法对4096维特征向量进行压缩,得到不同维度的手势图像特征数据库;
(13)使用欧式距离与特征数据库中的所有特征进行相似度度量,并按照相似度大小返回该手势识别的结果。
2.根据权利要求1所述的静态手势识别方法,其特征是:步骤(6)所述多尺度的Retinex算法的过程如下:
1)对于一张手势图像,采用多种尺度的高斯滤波函数,对图像的三个通道进行滤波,对每个尺度的反射分量取加权平均,得到最终输出结果,可以将3的公式变为:其中,Gk(x,y)代表第k个高斯滤波函数,N表示高斯滤波函数的数量,通过实验发现当N=3时,手势图像数据增强的效果最好;wk是第k个尺度的权重,N个高斯滤波函数所占比例满足约束条件:
2)把r(x,y)从对数域转换到实数域得到R(x,y);
3)对R(x,y)进行线性矫正处理(因为R(x,y)的范围不在0~255的范围内),矫正后得到已增强的手势图像。
3.根据权利要求1所述的静态手势识别方法,其特征是:步骤(10)所述VGGNet模型包含
6个卷积层和两个全连接层,网络最后一个全连接层输出的维度2048;改进后的网络结构包括两个分支,分别是主干分支和辅助分支;在两个分支2048维的全连接层之后进行了两个关键操作:一个是特征拼接操作,融合主干分支和辅助分支2048维的全连接层;
另一是在网络的倒数第二层加入一个隐藏层(哈希层)将其特征向量映射为哈希编码,最后接入softmax分类器中。
4.根据权利要求1所述的静态手势识别方法,其特征是:步骤(11)所述主成分分析算法(PCA)的计算过程如下:
1)输入m个数据D=(x1,x2,...xm),xi=(xi1,xi2,...xid),i=1,2,3...,m,d表示维度;
2)将每个样本作为一个列向量,构建样本矩阵;
3)样本矩阵的每一维减去对应元素平均值得到X:
4)求协方差:XXT;
5)求XXT的特征值和特征向量;
6)取特征值降序排列的前k值,将它们相应的特征向量组合成投影矩阵W;
7)将数据X经过投影矩阵W进行降维,就得到降维后的数据Y,Y=WTX。