欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2021110242308
申请人: 浙江师范大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种人脸表情识别模型训练方法,其特征在于,包括以下步骤:获取预设的三维人脸点云数据;

根据所述三维人脸点云数据确定人脸动态图结构和人脸静态图结构;

将所述人脸动态图结构和所述人脸静态图结构输入到预先构建的双通道图卷积神经网络进行训练,得到训练好的人脸表情识别模型;

其中,所述双通道图卷积神经网络包括第一通道图卷积层、第二通道图卷积层、特征融合层以及全连接层,所述第一通道图卷积层用于提取所述人脸动态图结构的深度语义特征,所述第二通道图卷积层用于提取所述人脸静态图结构的深度几何特征,所述特征融合层用于对所述深度语义特征和所述深度几何特征进行特征融合得到人脸表情特征,所述全连接层用于对所述人脸表情特征进行识别分类。

2.根据权利要求1所述的一种人脸表情识别模型训练方法,其特征在于,所述根据所述三维人脸点云数据确定人脸动态图结构和人脸静态图结构这一步骤,其具体包括:对所述三维人脸点云数据进行降采样处理,得到第一点云数据;

对所述第一点云数据中的数据点进行两两比对,得到所述数据点的边集合;

根据所述第一点云数据和所述边集合确定人脸动态图结构和人脸静态图结构。

3.根据权利要求2所述的一种人脸表情识别模型训练方法,其特征在于,所述第一通道图卷积层包括多个第一图卷积层,所述第二通道图卷积层包括多个第二图卷积层,所述将所述人脸动态图结构和所述人脸静态图结构输入到预先构建的双通道图卷积神经网络进行训练这一步骤,其具体包括:

通过所述第一通道图卷积层对所述人脸动态图结构进行逐层卷积操作,当第一图卷积层完成卷积操作,根据提取的语义特征重新构建人脸动态图结构并通过下一第一图卷积层进行卷积操作,直至提取出所述人脸动态图结构的深度语义特征;

通过所述第二通道图卷积层对所述人脸静态图结构进行逐层卷积操作,逐层卷积过程中所述人脸静态图结构保持不变,直至提取出所述人脸静态图结构的深度几何特征;

通过所述特征融合层对所述深度语义特征和所述深度几何特征进行特征融合得到人脸表情特征;

通过所述全连接层对所述人脸表情特征进行分类,得到表情类型识别结果;

根据所述表情类型识别结果和所述三维人脸点云数据对应的表情类型确定训练的损失值;

根据所述损失值对所述双通道图卷积神经网络的参数进行更新。

4.根据权利要求3所述的一种人脸表情识别模型训练方法,其特征在于,所述通过所述第一通道图卷积层对所述人脸动态图结构进行逐层卷积操作这一步骤,其具体包括:确定所述人脸动态图结构中各个第一节点特征的第一相邻节点特征集合;

根据所述第一点云数据构造第一全局状态对比特征向量;

以所述第一节点特征为中心节点,通过所述第一全局状态对比特征向量对所述第一相邻节点特征集合中的相邻节点进行全局信息嵌入的局部注意图卷积操作,得到当前第一图卷积层提取的语义特征。

5.根据权利要求3所述的一种人脸表情识别模型训练方法,其特征在于:所述特征融合层有多个,所述特征融合层、所述第一图卷积层以及所述第二图卷积层一一对应,所述特征融合层用于输入对应的第一图卷积层提取的语义特征、所述第二图卷积层提取的几何特征以及上一特征融合层输出的融合特征,并输出当前融合特征和用于下一第二图卷积层卷积操作的第二全局状态对比特征向量。

6.根据权利要求5所述的一种人脸表情识别模型训练方法,其特征在于,所述通过所述第二通道图卷积层对所述人脸静态图结构进行逐层卷积操作这一步骤,其具体包括:确定所述人脸静态图结构中各个第二节点特征的第二相邻节点特征集合;

获取上一特征融合层输出的第二全局状态对比特征向量;

以所述第二节点特征为中心节点,通过所述第二全局状态对比特征向量对所述第二相邻节点特征集合进行基于全局语义的几何局部注意图卷积操作,得到当前第二图卷积层提取的几何特征。

7.一种人脸表情识别方法,其特征在于,包括以下步骤:获取待识别三维人脸点云数据;

将所述待识别三维人脸点云数据输入到如权利要求1至6中任一项所述的人脸表情识别模型训练方法所得到的人脸表情识别模型中,输出得到人脸表情识别结果。

8.一种人脸表情识别模型训练系统,其特征在于,包括:第一获取模块,用于获取预设的三维人脸点云数据;

图结构确定模块,用于根据所述三维人脸点云数据确定人脸动态图结构和人脸静态图结构;

模型训练模块,用于将所述人脸动态图结构和所述人脸静态图结构输入到预先构建的双通道图卷积神经网络进行训练,得到训练好的人脸表情识别模型;

其中,所述双通道图卷积神经网络包括第一通道图卷积层、第二通道图卷积层、特征融合层以及全连接层,所述第一通道图卷积层用于提取所述人脸动态图结构的深度语义特征,所述第二通道图卷积层用于提取所述人脸静态图结构的深度几何特征,所述特征融合层用于对所述深度语义特征和所述深度几何特征进行特征融合得到人脸表情特征,所述全连接层用于对所述人脸表情特征进行识别分类。

9.一种人脸表情识别模型训练装置,其特征在于,包括:至少一个处理器;

至少一个存储器,用于存储至少一个程序;

当所述至少一个程序被所述至少一个处理器执行,使得所述至少一个处理器实现如权利要求1至6中任一项所述的一种人脸表情识别模型训练方法。

10.一种计算机可读存储介质,其中存储有处理器可执行的程序,其特征在于,所述处理器可执行的程序在由处理器执行时用于执行如权利要求1至7中任一项所述的方法。