1.一种基于面部先验知识的低分辨率人脸超分辨与识别的方法,其特征在于,具体包括以下步骤:
S1:数据集构建;构建包含低分辨人脸和高分辨人脸对的训练数据集 ,以及高分辨的注册人脸数据库(galleryset) 和低分辨人脸评测数据集(probeset) ;
S2:对 进行人脸超分辨,保存为 ;将SRCNN网络 作为本步骤的超分辨骨干网络:先使用双三次(bicubic)插值将 上采样到 的同样大小,然后通过三层卷积神经网络做非线性映射,将其结果保存为 ,并由此得到映射矩阵 ;
S3: 构建特征提取器 ,分别将 和 映射到公共空间 ,分别记作、 和 ;
S4:查找与评测数据相似的人脸对,在特征空间 中,查找与 最相似的 个 ,即对 ,根据S2中的映射矩阵 ,获得 相对应的 个映射矩阵;
S5:获取 图像的先验知识,结合相似人脸对的映射矩阵 ,超分辨评测数据 ,得到多个超分辨结果 ;
S6:分别将 和 经过 映射到公共空间 ,同S3,然后找到与 距离最小的 ,并将其类别分配给 ;
S7:最后产生人脸超分辨与识别结果。
2.根据权利要求1所述的一种基于面部先验知识的低分辨率人脸超分辨与识别的方法,其特征在于,所述步骤S1中,具体包括以下步骤:S1‑1:构建包含低分辨人脸和高分辨人脸对的训练数据集 ,其中 来源于人脸数据集ffhq, 由公式(1)生成,(1),
其中 表示 和模糊核 的卷积操作, 这里取高斯模糊; 表示下采样操作;
表示加性高斯白噪声; 表示JPEG压缩操作;
S1‑2:构建高分辨的注册人脸数据库(galleryset) ,数据来源于数据集ffhq,与的身份信息是无重复;
S1‑3:构建低分辨人脸评测数据集(probeset) ,数据来源于人脸数据集HELEN,其生成方式同公式(1)。
3.根据权利要求2所述的一种基于面部先验知识的低分辨率人脸超分辨与识别的方法,其特征在于,所述公式(1)中 , ,而且N
4.根据权利要求1所述的一种基于面部先验知识的低分辨率人脸超分辨与识别的方法,其特征在于,所述步骤S3中,具体包括以下步骤:S3‑1:使用ResNet18网络做为特征提取器 ,并将其最后一层全连接层丢弃掉;
S3‑2:将 通过特征提取器 映射到公共空间 ,分别记作 和;
S3‑3:首先将 通过bicubic放大到所需要的尺寸,然后同样由 将其映射到公共空间,记作 。
5.根据权利要求1所述的一种基于面部先验知识的低分辨率人脸超分辨与识别的方法,其特征在于,所述步骤S4中,具体包括以下步骤:S4‑1:在空间 中,根据欧式距离计算与 与 的相似度,记作 ;
(2)
其中 表示人脸对中高分辨率人脸的数量;
S4‑2:保存距离最小即相似度值最大的前 个 , ,即对应为 对 ;
S4‑3:获取映射矩阵,假设这 对人脸隶属于M类不同身份的人脸,同时根据步骤S2中的映射矩阵 ,获得相对应的 个映射矩阵 。
6.根据权利要求1所述的一种基于面部先验知识的低分辨率人脸超分辨与识别的方法,其特征在于,所述步骤S5中,具体包括以下步骤:S5‑1:由人脸解析网络(face parsing network, FPN) 生成 的面部解析图(parsing map) ,由此可得到其语义成分级的边缘信息semantic edge maps,记作,其中 采用的是encoder‑resnet‑decoder的网络架构,首先是在4个下采样模块和4个上采用模块之间插入10个resnet blocks,然后是两个卷积层用来输出 ;
S5‑2:超分辨 ,将 与 进行级联操作,统一作为 网络的输入,依次利用个映射矩阵 ,得到 个超分辨结果 , ,即 (2)
其中 表示级联操作。