1.一种基于跨模态连续时序约束的手语识别方法,其特征在于,所述基于跨模态连续时序约束的手语识别方法,包括:训练手语视觉识别网络模型,在训练时引入辅助语言模型和跨模态连续时序约束模块,包括:初始化手语视觉识别网络模型和辅助语言模型的网络参数;
将视频样本输入至手语视觉识别网络模型,获取视觉特征,然后通过多层感知机投影得到对应的视觉中间特征;
构建与视频样本对应的辅助语言序列,输入至辅助语言模型,获取语言特征,然后通过多层感知机投影得到对应的语言中间特征;
将视觉中间特征和语言中间特征输入跨模态连续时序约束模块,计算模态间输出差异指标和跨模态连续约束损失;
通过最小化跨模态连续约束损失,完成手语视觉识别网络模型的训练;
将待识别视频输入训练完成的手语视觉识别网络模型,得到识别结果;
其中,所述计算模态间输出差异指标,采用如下归一化点积相似度函数来计算:;
其中,表示自然指数函数,表示可学习的缩放因子,表示第帧视频对应的视觉中间特征,表示第个辅助序列状态对应的辅助中间变量,表示第个辅助序列状态对应的辅助中间变量,表示计算得到的相似度,K表示辅助语言序列的状态数;
计算跨模态连续约束损失,通过CTC损失函数计算:;
其中,表示跨模态连续约束损失,表示CTC损失函数,S表示模态间输出差异指标矩阵,函数产生从0到的整数序列。
2.根据权利要求1所述的基于跨模态连续时序约束的手语识别方法,其特征在于,所述手语视觉识别网络模型包括用于提取视觉特征的特征提取神经网络层和用于对视觉特征进行分类的分类模块。
3.根据权利要求2所述的基于跨模态连续时序约束的手语识别方法,其特征在于,所述视觉特征为所述特征提取神经网络层中任一层所提取的视觉特征。
4.根据权利要求1所述的基于跨模态连续时序约束的手语识别方法,其特征在于,所述辅助语言模型包括编码器和解码器。
5.根据权利要求4所述的基于跨模态连续时序约束的手语识别方法,其特征在于,所述语言特征为所述编码器任一层所提取的语言特征。