欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2022102963639
申请人: 南京邮电大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种低清图像重建超分辨率人脸图像的方法,其特征在于,包括:将低分辨率图像输入预训练渐进式生成对抗网络中,获得隐编码、通道权重;其中,预训练渐进式生成对抗网络的参数权重由大数据量高清人脸数据训练得到;

将隐编码和通道权重输入预训练渐进式生成对抗网络的迭代单元,获得迭代的多重隐编码和通道权重;

判断多重隐编码和通道权重的迭代次数是否大于预设的迭代次数阈值,将大于预设的迭代次数阈值的多重隐编码和通道权重输出;

基于输出的多重隐编码和通道权重生成的最终超分辨率的高清人脸图像;

其中,将隐编码和通道权重输入预训练渐进式生成对抗网络的迭代单元,获得迭代的多重隐编码和通道权重的方法包括:将隐编码与对应的自适应通道权重参数分成两组参数,两组参数分别代入预训练渐进式生成对抗网络迭代单元,获得迭代的多重隐编码和通道权重,其中,预训练渐进式生成对抗网络的迭代单元在首次迭代时对隐编码的参数进行高斯随机初始化、通道权重的参数进行均值初始化;

所述迭代单元由预训练渐进式生成对抗网络不同组合层所关联的多个子网络中的迭代计算单元组成,并在迭代过程中通过多个损失函数反向传播优化隐编码和自适应通道权重,获得迭代优化多次的多重隐编码和通道权重;

所述两组参数分别为第一组参数和第二组参数;所述预训练渐进式生成对抗网络的组合层包括:第一组合层、第二组合层和第三组合层;

所述将隐编码与对应的自适应通道权重参数分成两组参数,两组参数分别代入预训练渐进式生成对抗网络迭代单元,获得迭代的多重隐编码和通道权重的方法包括;

第一组参数在被第一组合层分开的第一子网络和第二子网络上进行迭代,第二组参数在被第二组合层分开的第一子网络和第二子网络上进行迭代,输出两组隐编码和权重参数;其中,每组隐编码输入到对应的组合层之前的第一子网络上,每个隐编码经过第一子网络生成对应的第一中间特征,并依据自适应通道权重将每组隐编码生成的第一中间特征组合成第二中间特征,而后累加融合所有第二中间特征生成第三中间特征;第三中间特征输入到第二子网络上生成人脸图像,并通过多个损失函数分别反向传播优化隐编码和自适应通道权重,获得迭代优化后的两组隐编码和自适应通道权重;

两组隐编码和权重参数通过第三组合层的第一子网络和第二子网络上进行分别进行迭代,输出多重隐编码和自适应通道权重。

2.根据权利要求1所述的一种低清图像重建超分辨率人脸图像的方法,其特征在于,所述预训练渐进式生成对抗网络中预设有迭代次数阈值和高斯随机初始化参数。

3.根据权利要求1所述的一种低清图像重建超分辨率人脸图像的方法,其特征在于,判断多重隐编码和通道权重的迭代次数是否大于预设的迭代次数阈值还包括:对迭代次数小于预设的迭代次数阈值的多重隐编码和自适应通道权重,重新输入迭代单元更新,直至迭代次数大于预设的迭代次数阈值时,输出更新后的多重隐编码和自适应通道权重;

基于更新后的多重隐编码和自适应通道权重进行超分辨率计算,获得的最终超分辨率的高清人脸图像;

其中,预设的迭代次数阈值为多个,分别轮次控制多个子网络中的迭代计算单元输出与迭代循环;轮次控制多个子网络中的迭代计算单元输出的多个条件表达式如下:式中,l表示当前迭代的轮次,L表示迭代的总伦次,k1、k2分别表示在GAN第l1、l2层的组合层进行迭代优化的轮次,ln表示网络中间层索引位置且网络中间层索引ln满足l1

更新迭代后的多重隐编码和自适应通道权重表达式如下:

式中,z(n)为多重隐编码,α(n)为自适应通道权重,N为隐编码的总数量,L为总损失函数,XInv为最终超分辨率的高清人脸图像,XLR为低分辨率图像。

4.根据权利要求1所述的一种低清图像重建超分辨率人脸图像的方法,其特征在于,多个损失函数包括:第一损失函数、第二损失函数、第三损失函数、第四损失函数;

其中,第一损失函数为第一子网络第一中间特征和第二中间特征的差计算函数;

第二损失函数为均方误差损失;

第三损失为感知损失;

第四损失函数为生成的重建图像的身份向量与低分辨率图像的身份向量的余弦相似度计算函数;

其中,第一损失函数的表达式为:

式中,i为特征图的x坐标,j为特征图的y坐标,表示特征图的x坐标上每个隐编码生成的第一中间加权后得到的第二中间特征,表示特征图的y坐标上第一中间特征加权后得到的第二中间特征;

第二损失函数的表达式为:

Lpix=|down(xinv)-xLR|

式中,Xinv表示每次迭代生成的超分辨率人脸图像,down()表示对人脸图像进行下采样操作;

第三损失函数的表达式为:

式中,表示用于大规模图像识别的超深卷积网络VGG输出的网络中间层特征图,第四损失函数的表达式:

式中,R表示使用附加的角余量损失训练的人脸识别网络,人脸识别网络计算身份向量与低分辨率图像的身份向量的余弦相似度,G(zi)表示zi输入到渐进式生成对抗网络得到的重建人脸图像。

5.根据权利要求4所述的一种低清图像重建超分辨率人脸图像的方法,其特征在于,还包括基于第一损失函数、第二损失函数、第三损失函数、第四损失函数调整迭代次数阈值,预设的迭代次数阈值计算公式为:Ltot=λ1Lpix+λ2Ldiv+λ3Lf+λ4Lid式中,λ1、λ2、λ3、λ4分别为比例因子。

6.一种低清图像重建超分辨率人脸图像的系统,其特征在于,包括处理器及存储介质;

所述存储介质用于存储指令;

所述处理器用于根据所述指令进行操作以执行根据权利要求1~5任一项所述方法的步骤。

7.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求1~5任一项所述方法的步骤。