欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2020103245400
申请人: 南京工程学院
专利类型:发明专利
专利状态:未下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于自注意增强CNN的视频序列表情识别系统,其特征在于,包括特征增强CNN模块、自注意力机制模块和全连接层;其中,视频序列输入所述特征增强CNN模块,特征增强CNN模块用于获取视频序列的表情空间信息,特征增强CNN模块输出的特征向量输入所述自注意力机制模块,自注意力机制模块用于学习视频序列的面部纹理变化关系进而获取人脸表情特征,自注意力机制模块输出的特征向量输入级联的若干层全连接层,全连接层将特征向量映射到样本标记空间中实现视频序列的表情分类;

所述特征增强CNN模块包括骨干网络和特征增强支路,其中,在骨干网络的中间层引出一条特征增强支路,并将特征增强支路的输出特征与骨干网络的输出特征相融合;在骨干网络中和特征增强支路中分别设置用于代替全连接层的全局平局池化层。

2.根据权利要求1所述的一种基于自注意增强CNN的视频序列表情识别系统,其特征在于,所述特征增强CNN模块的骨干网络为改进的VGG-16网络,其中,将VGG-16网络的全连接层替换为全局平局池化层,并在全局平局池化层前增加3层卷积层,3层卷积层的卷积核尺寸均为3*3*512*1024。

3.根据权利要求2所述的一种基于自注意增强CNN的视频序列表情识别系统,其特征在于,特征增强支路包括1层卷积层,卷积层的输入连接骨干网络的中间层,卷积层的输出连接特征增强支路中的全局平局池化层的输入,卷积层的卷积核尺寸为7*7*256*1024。

4.根据权利要求2所述的一种基于自注意增强CNN的视频序列表情识别系统,其特征在于,所述视频序列表情识别系统设置了1层全连接层。

5.根据权利要求4所述的一种基于自注意增强CNN的视频序列表情识别系统,其特征在于,所述自注意力机制模块中,权值矩阵尺寸为2048*2048,抑制注意力权重的超参数设置为0.1。

6.根据权利要求2所述的一种基于自注意增强CNN的视频序列表情识别系统,其特征在于,所述骨干网络的输出特征的维度与特征增强支路的输出特征的维度均为1024。

7.根据权利要求1所述的一种基于自注意增强CNN的视频序列表情识别系统,其特征在于,所述级联的全连接层之间还包括依次连接的归一化层、激活函数层和DropOut层。

8.根据权利要求1至7任一所述的一种基于自注意增强CNN的视频序列表情识别方法,其特征在于,包括如下步骤:步骤A、对人脸表情视频进行人脸检测,截取人脸ROI区域,去除背景干扰;

步骤B、将预处理后的人脸表情视频以n帧为一组划分成若干视频序列;

步骤C、将每组视频序列顺序输入自注意增强CNN网络,输出n帧特征向量,自注意增强CNN网络由所述特征增强CNN模块、自注意力机制模块构成;

步骤D、将每组视频序列经过自注意增强CNN网络后输出的n帧特征向量融合为一个特征向量后,该特征向量经过归一化、激活函数、DropOut处理之后,使用全连接层将该特征向量映射到样本标记空间中,得到该组视频序列所属的表情类别;

步骤E、用Softmax函数计算各组视频序列所属的表情类别的概率值,最大概率值对应的表情类别即为该人脸表情视频的表情类别。

9.根据权利要求8所述的一种基于自注意增强CNN的视频序列表情识别方法,其特征在于,所述步骤B中,n小于或等于人脸表情视频长度的1/2,相邻的视频序列之间有n/2帧图像重叠。