1.一种人脸表情识别方法,其特征在于,所述人脸表情识别方法包括:第一步,根据给定的深度图和RGB图片组合预训练一个图像生成模型,训练好的图像生成模型能根据训练所用的RGB图像样式将输入的深度图转化为RGB图像;
第二步,生成RGB图像中表情的眉、眼以及嘴部,训练着重考虑眉、眼以及嘴部的卷积神经网络,卷积神经网络实现表情识别。
2.如权利要求1所述的人脸表情识别方法,其特征在于,所述第一步包括将不同场景下采集的图片转化为统一的预训练场景,通过预训练的生成模型,根据深度图生成RGB图,实现不同场景数据统一成训练场景数据;具体包括:(1)选择pix2pix网络作为人脸表情识别方法的预训练图像生成模型,pix2pix网络被用于训练根据输入的深度图生成对应的RGB图像;
(2)用公开数据库Bosphorus中的图片作为预训练模型的数据来源;训练后的模型即能根据深度图生成与Bosphorus数据库场景一致的RGB图。
3.如权利要求1所述的人脸表情识别方法,其特征在于,所述第二步还包括:(1)通过眉、眼以及嘴部的坐标确定在图中的位置,剪切出来,经过加强,再放入神经网络训练;
(2)神经网络通过步长为2、卷积核大小为7、通道数为64的卷积层、BN层、relu层、池化层、两个残差块加强学习关键部分的特征信息,得到描述眉、眼以及嘴部的的4个特征图。
4.如权利要求1所述的人脸表情识别方法,其特征在于,所述人脸表情识别方法的预训练图像生成模型选择pix2pix网络,pix2pix网络被训练用于根据输入的深度图生成对应的RGB图像。
5.如权利要求1所述的人脸表情识别方法,其特征在于,所述人脸表情识别方法用一个公开数据库Bosphorus中的图片预训练图像生成模型;训练好的模型能根据输入的深度图生成RGB图。
6.如权利要求1所述的人脸表情识别方法,其特征在于,所述人脸表情识别方法通过眉、眼以及嘴部的坐标确定在图中的位置,剪切出来,经过加强,再放入神经网络训练;
所述神经网络包括步长为2、卷积核大小为7、通道数为64的卷积层、BN层、relu层、池化层、两个残差块加强学习关键部分的特征信息,得到描述眉、眼以及嘴部的的4个特征图;
所述图像生成模型生成的RGB图,整个放入残差学习网络ResNet-18训练,学习整张脸关于表情的特征信息;在通过ResNet-18的第一层后,图像的通道数刚好是64,矩阵大小是
64×64,特征图为A;将得到的关于各关键部分的特征图Bi对应地叠加A上,实现在网络训练时加强眉、眼以及嘴部信息的学习。
7.一种接收用户输入程序存储介质,所存储的计算机程序使电子设备执行权利要求任意一项所述包括下列步骤:第一步,根据给定的深度图和RGB图片组合预训练一个图像生成模型,训练好的图像生成模型能根据训练所用的RGB图像样式将输入的深度图转化为RGB图像;
第二步,生成RGB图像中表情的眉、眼以及嘴部,训练着重考虑眉、眼以及嘴部的卷积神经网络,卷积神经网络实现表情识别。
8.一种存储在计算机可读介质上的计算机程序产品,包括计算机可读程序,供于电子装置上执行时,提供用户输入接口以实施如权利要求1~6任意一项所述的人脸表情识别方法。
9.一种实施权利要求1~6任意一项所述的人脸表情识别方法的人脸表情识别系统,其特征在于,所述人脸表情识别系统包括:图像生成模型与训练模块,用于根据给定的深度图和RGB图片预训练一个图像生成模型;
RGB图像转化模块,用于将训练好的图像生成模型能根据训练所用的RGB图像样式将输入的深度图转化为RGB图像;
表情关键部分关注模块,用于重点关注所生成RGB图像中关于表情的关键部分;
表情识别模块,用于训练一个着重考虑人脸关键部分的卷积神经网络用于表情识别。
10.一种终端,其特征在于,所述终端搭载权利要求9所述的人脸表情识别系统。