欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2021100727073
申请人: 重庆邮电大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-02-26
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于多任务级联式人脸遮挡表情识别方法,其特征在于,所述方法包括以下步骤:

将预处理后的遮挡人脸图像输入到带有扩展卷积的卷积神经网络中进行人脸特征提取,并输出人脸特征图;

将所述人脸特征图输入到可识别遮挡区域的OCC‑MTCNN网络中,进行任务分类,并划分出第一任务和第二任务;

在第一任务中,对所述人脸特征图进行人脸关键点检测和遮挡检测;

对检测出的遮挡区域进行抑制,将检测到的未遮挡人脸关键点生成权重矩阵;

在第二任务中,将所述人脸特征图分为全局特征和局部特征,其中局部特征是按照人脸关键点的所述权重矩阵对人脸特征图进行裁剪;

将所述全局特征和所述局部特征都输入到第一注意力模块中,从特征中学习并提取出通道的权重分布,使用平均池化和最大池化操作来聚合特征映射的空间信息,生成两个不同的空间上下描述符;将这两个描述符送到共享网络中以产生通道注意力图;在共享网络应用于每个描述符之后,使用逐元素求和及sigmoid函数计算输出第一注意力特征,并对不同任务的通道增强或者抑制;

将所述第一注意力特征输入到第二注意力模块中,使用平均池化和最大池化操作来聚合特征映射的通道信息,生成两个不同的通道的描述符;并将它们连接起来生成一个有效的特征描述符;使用两个池化操作来聚合功能映射的通道信息,生成两个二维映射,然后通过一个标准卷积连接和卷积混合产生空间注意力图;使用逐元素求和及sigmoid函数计算输出第二注意力特征,将第二注意力特征经过两个全连接层后得到分类结果即表情识别结果;

其中,所述可识别遮挡区域的OCC‑MTCNN网络包括对多任务级联式人脸表情识别进行高精度候选窗口过滤选择的R‑Net的输出层,以及生成最终边界框与人脸关键点的O‑Net的输出层分别加入任务遮挡识别模块,对人脸中的五官进行遮挡识别,将五官中不同部位的特征点采用不同的分支,分别进入多层卷积进行特征提取,并使用concat方式进行特征融合;利用主全连接层进行信息聚合,所述主全连接层连接不同分支的全连接层,输出各个部位的识别结果。

2.根据权利要求1所述的一种基于多任务级联式人脸遮挡表情识别方法,其特征在于,所述预处理包括人脸检测、人脸对齐、图像归一化和像素归一化。

3.根据权利要求1所述的一种基于多任务级联式人脸遮挡表情识别方法,其特征在于,所述OCC‑MTCNN的多任务级联式人脸表情识别网络中训练过程所采用的损失函数包括人脸分类损失、人脸框回归损失、人脸关键点位置损失和遮挡信息损失。

4.根据权利要求3所述的一种基于多任务级联式人脸遮挡表情识别方法,其特征在于,所述人脸分类损失采用交叉熵损失函数;所述人脸框回归损失采用均方损失函数;所述人脸关键点位置损失采用均方损失函数;所述遮挡信息损失采用交叉熵损失函数。

5.根据权利要求1所述的一种基于多任务级联式人脸遮挡表情识别方法,其特征在于,所述可识别遮挡区域的OCC‑MTCNN网络包括归纳偏置模块,并通过所述第二任务提供归纳偏置的解;在归纳偏置的前提下,采用L1正则化的方式训练任务分类结果,使得所述OCC‑MTCNN网络中的任务分类偏向稀疏解。

6.根据权利要求1或5所述的一种基于多任务级联式人脸遮挡表情识别方法,其特征在于,所述第一任务和所述第二任务是通过多因子进化算法进行任务学习,学习出这两个任务的相似性和差异性;在所述OCC‑MTCNN网络模型中在靠近输入层的隐层被所述第一任务和所述第二任务共享。

7.根据权利要求1所述的一种基于多任务级联式人脸遮挡表情识别方法,其特征在于,将未遮挡人脸关键点生成权重矩阵包括获取人脸标志,为每个序列生成人脸标志过滤器,根据所有像素点到检测出的标志点距离分配权重,离人脸关键点越近的像素,其权重就越大。

8.根据权利要求1所述的一种基于多任务级联式人脸遮挡表情识别方法,其特征在于,所述第一注意力模块采用channel注意力模块,所述第二注意力模块采用spatial注意力模块。