欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2020105327462
申请人: 南京邮电大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种无监督跨角度面部表情图像识别方法,其特征在于包括以下步骤:

步骤A,创建多角度的人脸表情库,表情库中包含的表情包括但不限于:生气、轻蔑、厌恶、害怕、伤心、自然;摄像机拍摄角度包括但不限于为0°,45°,90°,135°,150°,180°;摄像机在不同的角度下采集对象的图像,并将采集的90°的图像作为正脸图像,其他角度的图像作为侧脸图像;之后对不同角度下采集到的人脸图像进行校准,制作标签,获得多角度的人脸表情数据集;

步骤B,建立无监督跨角度面部表情自适应网络UCFEAN,无监督跨角度面部表情自适应网络UCFEAN包括两个用于跨角度图像生成的生成器G12、G21,两个判别器,两个用于在特征域进行半监督学习的分类器,学生网络Cs和教师网络Ct,以及一个合成图像质量评估网络Cq;

步骤C,对无监督跨角度面部表情自适应网络UCFEAN进行训练,训练中的技巧包括乒乓逐级下降训练策略和域平均脸以及合成图像质量评估;

步骤D,测试时,将侧脸表情图像输入到无监督跨角度面部表情自适应网络UCFEAN中,便可以得到该图像的表情分类结果。

2.根据权利要求1所述的一种无监督跨角度面部表情图像识别方法,其特征在于步骤B中,生成器G12由源域到目标域上构建而成,生成器G21由目标域到源域上构建而成,把生成器G12分为卷积部分E12和反卷积部分D12,把生成器G21分为卷积部分E21和反卷积部分D21。

3.根据权利要求1所述的一种无监督跨角度面部表情图像识别方法,其特征在于步骤B中半监督网络Cs,Ct的构建。Cs是有标签分类器,将有标签的图像输入分类器Cs中进行有标签学习。Ct是无标签分类器,不进行训练,由Cs的参数经过移动指数平均得到,将无标签的图像经过不同程度的污染后,分别输入Cs和Ct得到分类结果,由Ct的分类结果指导Cs的分类结果。最终将有标签损失和Cs,Ct得到分类结果的差值经过加权后作为最终的半监督网络损失。

4.根据权利要求2所述的一种无监督跨角度面部表情图像识别方法,其特征在于步骤B中从源域和目标域对应的提取高维特征,即源域的高维特征fea_src和目标域高维特征fea_tar;源域图像经和目标域图像分别经过E12,E21得到高维特征fea_src和fea_tar,源域图像经过生成器G12得到的生成虚假的目标域图像再经过G21的卷积部分E21得到高维特征fea_fake_tar,高维特征fea_src和fea_fake_tar拥有源域的标签,fea_src和fea_fake_tar是有标签图像,fea_tar是目标域无标签图像,高维特征fea_src和经过质量评估后fea_fake_tar输入分类网络Cs进行有标签训练,无标签高维特征fea_tar分别输入分类网络Cs,Ct进行无标签训练。

5.根据权利要求1所述的一种无监督跨角度面部表情图像识别方法,其特征在于步骤B中源域和目标域的原始图像训练合成图像质量评估网络Cq,输出结果范围在0到1之间,质量越高越接近1,反之接近0。

6.根据权利要求1所述的一种无监督跨角度面部表情图像识别方法,其特征在于步骤C中乒乓逐级下降训练分为两个节拍,当训练生成器G12,G21时,分类网络Cs,Ct的参数冻结;

当训练分类网络Cs,Ct时,生成器G12,G21的参数冻结;训练开始时,每20次迭代作为1个节拍,随着训练的开展,逐步减少每个节拍中迭代的次数,最终达到1次迭代作为1个节拍。

7.根据权利要求1所述的一种无监督跨角度面部表情图像识别方法,其特征在于步骤C中从源域到目标域生成对抗网络和从目标域到源域的生成对抗网络都要求生成器所生成图像要接近另一个域的数据分布,对源域和目标域的真实图像分别求均值,得到域平均脸,将此作为生成器G12,G21训练时目标函数之一,由此提高训练性能。

8.根据权利要求1所述的一种无监督跨角度面部表情图像识别方法,其特征在于步骤D中目标域侧脸表情图像通过G12的卷积部分E21获得fea_tar,并分别输入已经训练好的半监督分类网络Cs,Ct,得到的结果加权求和,作为最终的表情分类结果.。