1.一种基于手部关键点与帧数注意力机制的动态手势识别方法,其特征在于,包括如下步骤:S1、手部关键点数据获取与标准化:自定义识别手部关键点数据,收集动态手势所有帧的关键点坐标作为识别数据,同时,依据识别数据变化程度进行动态采样,包括如下小步:S11、自定义识别手部关键点数据:包括手部关键点的位置坐标格式(xhj,yhj,zhj),其中h代表左右手编号,h=l为左手,h=r为右手,j为第j个手部关键点的编号;
S12、收集动态手势所有帧的关键点坐标:将一个动态手势分为30帧,故每个完整动态手势的数据为42×30个位置坐标每个手部关键点编号为:L0=(xl0,yl0,zl0)L1=(xl1,yl1,zl1)……L20=(xl20,yl20,zl20)R0=(xr0,yr0,zr0)R1=(xr1,yr1,zr1)……R20=(xr20,yr20,zr20)其中Lj,Rj分别表示为左手第j个关键点的所有坐标、右手第j个关键点的所有坐标;
S13、依据识别数据变化程度进行动态采样:通过每个帧手部关键点与上一帧对应的手部关键点的空间坐标值改变的距离大小关系,从而评价出每个帧坐标信息的重要性,即:其中代表第i帧的第j个关键点与前一帧第j个关键点的距离;代表第i帧的第j个关键点的横坐标,代表第i-1帧的第j个关键点的横坐标;定义为原始采样帧指标,代表第i帧的总得分;
S131、选出第一个采样帧,将指标排名第一的帧选定为原始采样帧;
S132、定义采样帧指标:
其中l为未被选定为采样帧的帧数序号,l-1为帧数序号距离第l帧前最近的选定采样帧,
代表第l帧的总得分,选取排名第一的帧为采样帧;
S133、重复操作,每选取一个采样帧后,重新计算指标并选出一个采样帧,直至选取30个采样帧后,采样结束,结束此操作;
S2、构建手部关键点注意力机制:由于手部关键点注意力和手部帧数注意力对识别效果的影响不同,使用卷积神经网络提取手部关键点特征和手部帧数特征,由全连接层学习其相应权重,包括如下小步:S21、手部关键点注意力机制的构建:使用CNN特征提取层对原始数据横向提取每一个关键点所有帧数的特征,使用全连接层及归一化处理提取出每一个手部关键点的权重Ch0Ch1……Ch20,得出的加权系数与原始数据对应相乘,得出基于手部关键点注意力机制的手部坐标数据;
S22、手部帧数注意力机制的构建:使用一维卷积神经网络对原始数据纵向提取每一帧的所有手部关键点特征,使用全连接层及归一化处理提取出每一个手部关键点的权重Cf0Cf1……Cf49,得出的加权系数与原始数据对应相乘,得出基于手部帧数注意力机制的手部坐标数据;
S23、手部关键点注意力和手部帧数注意力的融合:CNN特征提取模块其中N2=2,即两个CNN特征提取模块串接,分别为第一CNN特征提取模块、第二CNN特征提取模块,每个CNN特征提取模块中有30个卷积层,每个卷积层输入数据维度为21×1;
S3、LSTM长短时记忆神经网络动态识别:使用LSTM长短期记忆神经网络提取数据时间特征,最后用全连接层及归一化输出识别结果。
2.如权利要求1所述的基于手部关键点与帧数注意力机制的动态手势识别方法,其特征在于,所述步骤S12的动态手势中,动态手势分为30帧的采样规则如下:在大于30帧的动态手势视频数据中,将数据采样为30帧,以实现输入模型数据格式的标准化;
虑到实际采样中每个动态手势并非为标准30帧数,对小于30帧的数据,采用全0数据补齐至30帧;对大于30帧的数据实现帧数采样至30帧。
3.如权利要求2所述的基于手部关键点与帧数注意力机制的动态手势识别方法,其特征在于,所述步骤S13的动态采样中,手部关键点坐标数据的重要程度与上一采样帧手部关键点坐标数据的相似度相关,相邻帧数据相似度越大,即数据的重复性越大,数据的重要性越小。
4.如权利要求1所述的基于手部关键点与帧数注意力机制的动态手势识别方法,其特征在于,所述步骤S21的手部关键点注意力机制的构建中,每个CNN特征提取模块包含21个卷积层,每个卷积层包括一维valid卷积、非线性激活函数与一维池化层,特征提取模块输出为其中中n为第n特征提取模块,为第n特征提取模块的第v个卷积核的权重,*为卷积运算,为第n特征提取模块的第v个卷积操作的偏移量;
全连接层包含输入层、隐藏层与输出层,输入层维度为一维全局池化的输出,隐藏层神经元个数为21,为避免过拟合,向线性层添加dropout层,输出层神经元个数为21。
5.如权利要求4所述的基于手部关键点与帧数注意力机制的动态手势识别方法,其特征在于,所述步骤S22的手部帧数注意力机制的构建中,CNN特征提取模块包含N2个卷积层,每个卷积层为一维valid卷积、非线性激活函数与一维池化层组合;特征提取模块输出为其中中n为第n特征提取模块,为第n特征提取模块的第v个卷积核的权重,*为卷积运算,为第n特征提取模块的第v个卷积操作的偏移量;
全连接层包含输入层、隐藏层与输出层,输入层维度为一维全局池化的输出,隐藏层神经元个数为30,为避免过拟合,向线性层添加dropout层,输出层神经元个数为21。
6.如权利要求5所述的基于手部关键点与帧数注意力机制的动态手势识别方法,其特征在于,所述步骤S23的手部关键点注意力和手部帧数注意力的融合中,在第一CNN特征提取模块的卷积层中,输入数据维度为21×1,一维卷积神经网络包括8个7×1卷积核,步长为1;一维最大池化大小3×1;激活函数为ReLu函数,输出维度为5×8;
在第二CNN特征提取模块的卷积层中,输入数据维度为5×8,一维卷积神经网络包括16个3×8卷积核,步长为1;一维最大池化大小3×1;激活函数为ReLu函数,输出维度为1×16;
一维全局平均池化GAP大小为1×16,输出维度为1×1,输出即各X_i,i为一个动态手势帧数序号,j∈[0,29]。
7.如权利要求1所述的基于手部关键点与帧数注意力机制的动态手势识别方法,其特征在于,所述步骤S3的LSTM长短时记忆神经网络动态识别中,包括如下小步:将关键点注意力与帧注意力机制加权后的数据进行加和,为减少加权后的数据在时间上的特征被减弱,故将原始数据与两种注意力机制的数据再次加和,将加和后的数据输入至LSTM网络模块中,提取数据中的时间上的特征,由全连接层输出,经过归一化处理得出手势预测结果;
其中Di为第i帧的所有手部关键点坐标,i∈[0,29],LSTM模块中输入数据维度为30,隐藏层维度为30;
全连接层输入层维度为30,隐藏层神经元个数为30个,输出层维度为30,输出层与Softmax分类层相连,输出模型分类结果。
8.如权利要求7所述的基于手部关键点与帧数注意力机制的动态手势识别方法,其特征在于,所述步骤S23的LSTM长短时记忆神经网络动态识别,还包括如下步骤:LSTM长短时记忆神经网络动态识别部分,全连接层输入层维度为21,隐藏层神经元个数为21,输出层神经元个数为21,模型分类采用Softmax函数作为分类函数;
训练时每个手势采集不少于1000个完整动态手势训练数据,按6:2:2的比例将采集到的样本分成训练集、验证集与测试集进行训练,设置Epochs次数不低于数据量的五之一,不高于数据量的二分之一,Epochs过高,训练时间增长且模型识别精度不再提高,Adam优化算法的学习率为0.001,batch大小为100时,采用交叉熵损失函数计算得到模型最优解。