1.基于关键帧采样的小样本深度学习多模态手语识别方法,其特征在于,包括如下步骤,
步骤S1、采集手语人员的人体骨骼信息,RGB数据以及相应的深度数据,利用光流算法将RGB彩色视频转换为流光视频,并选定RGB彩色视频、Depth深度视频和光流视频作为多模态输入;
步骤S2、对RGB彩色视频的每一帧图像进行肤色检测保留手部以及脸部,再基于三维骨骼坐标和深度信息剔除脸部像素的影响,获取手部分割的掩膜,并在Depth深度视频上利用该掩膜分割出对应帧的手部;
步骤S3、对每个模态的视频进行关键帧采样以及均匀采样来归一化视频帧数,作为后续深度神经网络的输入;
步骤S4、对已有小样本数据进行数据增强;
步骤S5、用均匀采样的视频来从头开始训练网络模型;
步骤S6、将通过关键帧采样获取的同种模态的数据进行融合,再利用均匀采样的网络模型对融合的数据微调训练;
步骤S7、将三个模态数据源训练的结果进行特征融合和分数融合,选出最优方案。
2.根据权利要求1所述的基于关键帧采样的小样本深度学习多模态手语识别方法,其特征在于,所述步骤S1中,采集数据时,手语人员与采集摄像头之间保持相对静止,只露出脸部和手部皮肤,只进行手语运动;完整的手语运动包括手部的抬起,手语词运动的关键部分及手部的放下。
3.根据权利要求1所述的基于关键帧采样的小样本深度学习多模态手语识别方法,其特征在于,所述步骤S1中,光流算法采用Brox光流算法。
4.根据权利要求1所述的基于关键帧采样的小样本深度学习多模态手语识别方法,其特征在于,所述步骤S2中,肤色检测采用多个颜色空间RGB、YCrCb、HSV的常阈值掩膜加权平均,然后用Otsu最大类间方差法阈值分割获取肤色掩膜;再通过头部骨骼坐标定位到头部周围区域,利用周围的深度信息进行阈值分割,获取一个粗略的剔除头部相关像素的掩膜。
5.根据权利要求1所述的基于关键帧采样的小样本深度学习多模态手语识别方法,其特征在于,所述步骤S3中,根据手部运动的剧烈程度提出两种关键帧采样策略,具体如下,一是基于相邻帧手部骨骼坐标变化的关键帧采样策略,通过相邻帧手部骨骼坐标之差表征相邻帧运动变化剧烈程度,将视频分为若干片段,计算每个片段的相邻帧运动变化剧烈程度之和,加权确定每个片段应该采样的帧数,再在相应片段通过均匀采样采集一定的帧数;最后,检验最后视频帧数是否正好达到采样帧数的要求,若是则表示该项算法完成;
反之,若视频帧数大于所要求的采样帧数,则去掉末尾几帧,若小于所要求帧数,则在所采样视频片头按顺序添加原视频开头几帧;
二是基于光流的关键帧采样策略,通过光流表征相邻帧运动变化剧烈程度,将视频分为若干片段,计算每个片段的相邻帧运动变化剧烈程度之和,加权确定每个片段应该采样的帧数,再在相应片段通过均匀采样采集一定的帧数;最后,检验最后视频帧数是否正好达到采样帧数的要求,若是则表示该项算法完成;反之,若视频帧数大于所要求的采样帧数,则去掉末尾几帧,若小于所要求帧数,则在所采样视频片头按顺序添加原视频开头几帧。
6.根据权利要求1所述的基于关键帧采样的小样本深度学习多模态手语识别方法,其特征在于,所述步骤S3中,关键帧采样选择的基准采样帧数一般小于等于数据集最少帧数的视频的帧数。
7.根据权利要求1所述的基于关键帧采样的小样本深度学习多模态手语识别方法,其特征在于,所述步骤S4中,数据增强包括图像翻转,随即裁剪以及时间抖动。
8.根据权利要求1所述的基于关键帧采样的小样本深度学习多模态手语识别方法,其特征在于,所述步骤S5中,网络模型采用R(2+1)D结构,R(2+1)D结构是基于常用的R3D,改进为 R(2+1)D将Ni个3D卷积核,核大小为Ni-1×t×d×d,t表示滤波器的时序维度并且d表示滤波器的空间维度),分成Mi个2D空间卷积核,核大小为Ni-1×1×d×d,和Ni个时序卷积核,核大小为Mi×t×1×1,其中,Ni为i-th残差块的滤波器的数量,Mi为转化后的2D空间卷积核的数量。