欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2024111072948
申请人: 华东交通大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种用于红外-可见光人脸识别的双编码人脸合成方法,其特征在于,所述方法包括如下步骤:步骤1、采用身份编码器和风格编码器的双编码结构,以红外人脸照片作为真实照片,将真实照片输入身份编码器,获取身份特征编码;

步骤2、以随机可见光人脸照片作为参考照片,将参考照片和真实照片输入风格编码器,获取具有参考照片风格信息的内容编码;

步骤3、将内容编码和身份特征编码进行融合增强,获取增强后的特征;

步骤4、将增强后的特征输入风格内嵌解码器中,并在风格编码器和风格内嵌解码器之间建立各层的跳跃连接,以将风格编码器捕获的特征信息传递给风格内嵌解码器,从而引导解码特征的生成,得到生成结果。

2.根据权利要求1所述的用于红外-可见光人脸识别的双编码人脸合成方法,其特征在于,在所述步骤1中,身份编码器采用预训练模型LightCNN_29Layers_v2的网络架构,网络架构由五层下采样组成;

风格编码器对应设置有五层下采样层。

3.根据权利要求2所述的用于红外-可见光人脸识别的双编码人脸合成方法,其特征在于,在所述步骤1中,以红外人脸照片其中,

4.根据权利要求3所述的用于红外-可见光人脸识别的双编码人脸合成方法,其特征在于,在所述步骤2中,将可见光人脸照片和红外人脸照片输入风格编码器,获取具有可见光人脸照片风格信息的内容编码的方法具体包括如下步骤:对风格编码器部分同时输入真实照片和参考照片,分别提取人脸的不同网络层级的内容信息和参考照片的风格信息,对应的过程关系式如下:其中,

将第五层级的真实照片的特征向量和参考照片的特征向量进行融合,以获取全局融合特征,对应的过程关系式如下:其中,

5.根据权利要求4所述的用于红外-可见光人脸识别的双编码人脸合成方法,其特征在于,全局风格转移模块由9个风格转移层组成,每个风格转移层由一个原始的风格迁移模块和一个残差块组成;

残差块由两个3×3的卷积块和一个残差连接构成;

将真实照片的特征向量和参考照片的特征向量通过全局风格转移模块进行融合,从而实现风格迁移,得到融合特征C;

全局风格转移模块的融合过程可以表示为:

其中,

6.根据权利要求5所述的用于红外-可见光人脸识别的双编码人脸合成方法,其特征在于,在所述步骤3中,将内容编码和身份特征编码进行融合增强,获取增强后的特征的过程存在如下关系式:其中,

7.根据权利要求6所述的用于红外-可见光人脸识别的双编码人脸合成方法,其特征在于,在所述步骤4中,将增强后的特征输入风格内嵌解码器中,并在风格编码器和风格内嵌解码器之间建立各层的跳跃连接,以将风格编码器捕获的特征信息传递给风格内嵌解码器,从而引导解码特征的生成,得到生成结果的方法具体包括如下步骤:将增强后的特征经过全连接层拉伸,得到拉伸后的向量,以便后面进行上采样,对应的过程存在如下关系式:其中,

将调整后的特征输入进解码器

其中,

利用跳跃连接,将第一层上采样融合特征与风格编码器中第五层真实照片的内容特征向量相加再进行反卷积,后与第四层参考照片的风格特征向量再进行融合,生成第二层上采样融合特征,以此类推,直到获得第五层上采样融合特征,对应的过程关系式如下:将第五层级的上采样融合特征卷积后获取掩膜操作,并结合真实图像以获取输出图像。

8.根据权利要求7所述的用于红外-可见光人脸识别的双编码人脸合成方法,其特征在于,局部风格转移模块由两个风格模块组成,每个风格模块由风格注意模块和卷积层组成,对应的过程存在如下关系式:其中,

9.根据权利要求8所述的用于红外-可见光人脸识别的双编码人脸合成方法,其特征在于,将第五层级的上采样融合特征卷积后获取掩膜操作,并结合真实图像以获取输出图像的方法具体包括如下步骤:将第五层级的上采样融合特征与第一层真实照片的特征向量相加再进行卷积得到最后的输出特征,对应的过程关系式如下:其中,

将输出特征施以掩膜操作,以获取内容掩膜和注意掩膜,根据内容掩膜和注意掩膜生成最终结果,对应的过程关系式如下:其中,

获取注意力掩膜的过程存在如下关系式:

其中,

获取内容掩膜的过程存在如下关系式:

10.一种用于红外-可见光人脸识别的双编码人脸合成系统,其特征在于,所述系统应用如权利要求1至9任意一项所述的用于红外-可见光人脸识别的双编码人脸合成方法,所述系统包括:身份信息提取模块,用于:

采用身份编码器和风格编码器的双编码结构,以红外人脸照片作为真实照片,将真实照片输入身份编码器,获取身份特征编码;

风格-内容信息提取模块,用于:

以随机可见光人脸照片作为参考照片,将参考照片和真实照片输入风格编码器,获取具有参考照片风格信息的内容编码;

特征融合模块,用于:

将内容编码和身份特征编码进行融合增强,获取增强后的特征;

图像生成模块,用于:

将增强后的特征输入风格内嵌解码器中,并在风格编码器和风格内嵌解码器之间建立各层的跳跃连接,以将身份编码器捕获的特征信息传递给解码器,从而引导解码特征的生成,得到生成结果。