1.一种基于部分卷积和多尺度特征提取的唇语识别方法,其特征在于,包括以下步骤:S1:获取单词级唇语识别视频数据集,并对每个视频进行人脸关键点检测,并提取出唇部区域图像,从而得到每个视频帧的唇部区域集合构成唇语识别数据集D;
S2:对唇语识别数据集进行预处理,得到裁剪后的连续灰度化的唇语视频序列;
S3:将预处理后的数据集中的数据进行划分,得到训练集,验证集和测试集;
S4:对训练集数据使用水平翻转、Mixup、时间掩蔽、随机切除等数据增强方法;
S5:采用3D卷积和改进后的FasterNet网络对训练集中的数据进行短期时序特征提取和空间特征提取;
S6:采用Res2‑TCN网络对唇语识别数据集的短期和长期时序特征进行提取,得到用于结果分类的序列;
S7:将用于结果分类的序列输入到全连接层进行分类,得到唇语识别的结果;
S8:根据唇语识别的结果计算模型的损失,将验证集中的数据输入到模型中,不断调整模型的参数,当损失函数值最小时完成模型的训练;其中,交叉熵损失函数的计算公式如下:其中p为概率预测值,q=1‑p,y为真实标签值。
2.根据权利要求1所述的一种基于部分卷积和多尺度特征提取的唇语识别方法,其特征在于,在所述的步骤1中,具体包括以下步骤:S11:使用Dlib人脸关键点检测算法对唇语数据集中每个视频序列的68个面部关键点进行提取并将每一帧与参考的平均人脸进行对齐;
S12:为了减少其他面部区域的干扰,从大小为224×224的对齐的人脸图像中进行中心裁剪出大小为96×96的唇部感兴趣区域。
3.根据权利要求1所述的一种基于部分卷积和多尺度特征提取的唇语识别方法,其特征在于,在所述的步骤2中,具体包括以下步骤:S21:由于彩色图像不会对识别产生额外的帮助并且会增加模型的计算量,因此将原始视频帧图像进行灰度化以减少色差对于识别的影响;
S22:将人脸图像大小从96×96随机裁剪为88×88的大小。
4.根据权利要求1所述的一种基于部分卷积和多尺度特征提取的唇语识别方法,其特征在于,在所述的步骤4中,具体包括以下步骤:S41:对训练集的每个视频帧以0.5的概率进行水平翻转;
S42:为了减少过拟合的风险,在训练期间使用Mixup数据增强方法,MixUp通过在两个样本中进行线性插值构造出一个新的训练样本及其对应的标签;
S43:对训练集使用TimeMask数据增强方法,对于训练集视频帧随机选取部分帧并用全部帧的平均值代替;
S44:对训练集使用Cutout作为额外的数据增强方法,Cutout使用固定大小的正方形区域,采用全0填充,并且允许正方形区域位于图像之外,超出边界的部分将会被截断;Cutout包含两个参数:n_holes和length,其中n_holes表示裁剪的块数,length表示裁剪方块的边长。
5.根据权利要求1所述的一种基于部分卷积和多尺度特征提取的唇语识别方法,其特征在于,在所述步骤S5中,3D卷积和FasterNet网络的构建,具体包括以下步骤:
1×t×h×w
S51:对于输入数据I∈R ,经过一个卷积核大小为5×7×7的3D卷积后提取短期的时空特征,可以得到输出数据O∈Rc×t×h×w,其中,c表示通道数,t表示帧数,h表示高,w表示宽;
S52:对于3D卷积的输入特征使用最大池化操作对特征进行下采样以减少计算和降低模型复杂度;对于输入特征I∈Rc×t×h×w,经过3D最大池化后可以得到输出特征S53:经过3D最大池化的特征需要经过维度压缩以输入到2D‑FasterNet网络中,对于输入特征 经过转换后得到输出特征 其中时间维度与批次合并;
S54:经过转换后的二维数据输入到FasterNet网络中提取唇部的空间特征,FasterNet分为四个阶段,每个阶段由多个FasterNetBlock组成,每个FasterNetBlock由一个部分卷积(PConv)和两个逐点卷积(PWConv)组成;对于输入特征 经过FasterNet网络后得到输出特征O∈Rc'×h'×w';
S55:对于FasterNet网络的输出特征需要经过全局平均池化并转换为一维特征向量,c'×t对于输入特征I∈Rc'×h'×w',得到转换后的一维向量O∈R 。
6.根据权利要求1所述的一种基于部分卷积和多尺度特征提取的唇语识别方法,其特征在于,在所述的步骤S6中,具体包括以下步骤:S61:将得到的一维特征向量输入到Res2‑TCN中以提取唇部运动的时序特征;其中Res2‑TCN由四个Res2‑TCN Block组成,每个Res2‑TCN Block包含3个具有不同膨胀率的子模块,其中膨胀率d∈{1,2,5};每个子模块由两个时序卷积层构成,在每个时序卷积层后嵌入一个滤波器大小为1的一维卷积用于聚合来自时序卷积层不同通道的特征信息;
S62:首先将输入特征向量均匀地分成s个特征向量子集,用xi来表示,其中i∈{1,
2,...,s};与输入特征向量相比,每个特征子集xi具有相同的大小,但通道数仅为1/s;除xs外,每个xi都有对应的卷积核大小为3,膨胀率为d的一维卷积,记为Ki();用yi表示Ki()的输出;特征子集与Ki‑1()的输出相加,然后馈入Ki();为了在增加s的同时减少参数,因此省略了xs的1维卷积;因此,yi可以写成:最后将所有的yi拼接起来作为输出特征y,用公式表示为:y=[y1,y2,...,ys]。
c'×t c”×t
S63:对于输入特征I∈R ,经过Res2‑TCN后可以得到输出特征O∈R ,其中输入通道与输出通道数保持不变。
7.根据权利要求1所述的一种基于部分卷积和多尺度特征提取的唇语识别方法,其特征在于,在所述的步骤S7中,具体步骤如下所示:c”
S71:将Res2‑TCN的输出特征经过时间平均操作,得到输出特征O∈R ;
S72:将得到的特征输入到全连接层进行分类,其输入维度为512,输出维度为500,其中
500即为单词总的类别数。
S73:将全连接的输出送入SoftMax层中获得最终的单词预测概率。