欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2024103353032
申请人: 南京邮电大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于语义特征的人脸图像复原方法,其特征是,包括如下步骤:获取待复原的人脸图像;

将所述待复原的人脸图像输入至训练好的复原模型,得到复原后的人脸图像;

其中,所述复原模型包括:

编码器,用于,根据所述待复原的人脸图像,生成低质人脸语义特征;

参考图像生成器,用于,根据所述低质人脸语义特征,通过输入随机噪声,生成多张高质人脸参考图像;

特征转移器,用于,根据所述多张高质人脸参考图像,构建人脸组件特征字典;将所述人脸组件特征字典中的高质组件特征转移到所述低质人脸语义特征中,得到高质人脸语义特征;

解码器,用于,根据高质人脸语义特征,生成复原后的人脸图像;

所述参考图像生成器包括依次串联的第一生成器模块、第二生成器模块和第三生成器模块;

所述第一生成器模块包括依次串联的语义特征融合单元、残差卷积单元和2倍上采样单元;

所述第二生成器模块包括依次串联的语义特征融合单元、残差卷积单元和2倍上采样单元;

所述第三生成器模块包括依次串联的语义特征融合单元和残差卷积单元;

所述特征转移器包括字典构建模块和特征转移模块;

所述字典构建模块包括依次串联的人脸特征提取单元、第一人脸组件检测单元和字典构造单元;

所述人脸特征提取单元包括多个依次交替串联的残差卷积单元和2倍下采样单元,用于根据所述多张高质人脸参考图像,得到多张高质人脸参考特征;

所述第一人脸组件检测单元,用于根据所述多张高质人脸参考特征,得到不同组件类别的高质组件特征;

所述字典构造单元,用于根据所述不同组件类别的高质组件特征,构造得到人脸组件特征字典;

特征转移模块包括依次串联的第二人脸组件检测单元、字典查找单元和特征融合单元,所述第二人脸组件检测单元,用于根据所述低质人脸语义特征,得到对应组件类别的低质组件特征;

所述字典查找单元,用于根据所述低质组件特征,基于构建好的人脸组件特征字典,得到对应组件类别的高质组件特征;

所述特征融合单元,用于融合所述低质人脸语义特征和对应组件类别的高质组件特征,得到高质人脸语义特征。

2.根据权利要求1所述的基于语义特征的人脸图像复原方法,其特征是,所述编码器包括5个残差卷积单元与4个2倍下采样单元,所述残差卷积单元与2倍下采样单元交替串联。

3.根据权利要求1所述的基于语义特征的人脸图像复原方法,其特征是,所述语义特征融合单元包含依次串联的1个归一化层和2个卷积层;所述语义特征融合单元用于低质人脸语义特征和随机噪声的融合。

4.根据权利要求1所述的基于语义特征的人脸图像复原方法,其特征是,所述解码器包括5个残差卷积单元与4个2倍上采样单元,所述残差卷积单元与2倍上采样单元交替串联。

5.根据权利要求1所述的基于语义特征的人脸图像复原方法,其特征是,所述复原模型的训练方法包括如下步骤:获取训练集,所述训练集包括待复原的人脸训练图像和对应的人脸真实复原图像,将所述待复原的人脸训练图像输入至预构建的复原模型中,得到复原后的人脸训练图像;

根据所述复原后的人脸训练图像和对应的人脸真实复原图像,计算复原模型损失函数;

基于梯度下降法对所述复原模型进行迭代更新训练,以复原模型损失函数最小时的复原模型作为训练好的复原模型。

6.根据权利要求5所述的基于语义特征的人脸图像复原方法,其特征是,获取训练集包括如下步骤:获取高质人脸图像,将所述高质人脸图像作为人脸真实复原图像;

对所述高质人脸图像进行像素调整操作,得到退化后的人脸图像;将所述退化后的人脸图像作为待复原的人脸训练图像;

其中,所述像素调整操作的表达式如下:

Ilq={JPEGq((Ihq*kσ)↓s+nδ)}↑s式中,Ilq表示退化后的人脸图像,即待复原的人脸训练图像;JPEGq表示压缩质量为q的JPEG压缩;Ihq表示高质人脸图像,即人脸真实复原图像;*表示卷积操作;kσ表示sigma=σ的模糊核;↓s表示下采样s倍操作;nδ表示sigma=δ的高斯噪声;↑s表示上采样s倍操作。

7.根据权利要求5所述的基于语义特征的人脸图像复原方法,其特征是,所述复原模型损失函数的表达式如下:L=Ll1+λperLper+λadvLadv

式中,L表示复原模型损失函数值;Ll1表示L1损失值;λper表示感知损失权重;Lper表示基于VGG网络的感知损失值;λadv表示对抗损失权重;Ladv表示基于对抗训练的对抗损失值。

8.根据权利要求7所述的基于语义特征的人脸图像复原方法,其特征是,所述L1损失值Ll1的表达式如下:式中,Ihq表示人脸真实复原图像;表示复原后的人脸训练图像;|·|1表示平均绝对误差;

所述基于VGG网络的感知损失值Lper的表达式如下:式中,表示预训练VGG模型中第1到第5个卷积层的特征图;表示2范数的平方;

所述基于对抗训练的对抗损失值Ladv的表达式如下:式中,D(·)表示对抗训练中判别器的输出;表示关于分布的期望值;softplus表示softplus函数,softplus函数的表示式为:softplus(x)=ln(1+ex)。