欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2021103201040
申请人: 重庆邮电大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-02-26
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.基于注意力机制的单样本部分遮挡人脸识别方法,其特征在于,具体包括以下步骤:输入带有类别标签的人脸图像对集作为源域数据集,人脸图像对包括一张干净正脸与同一身份带有部分遮挡的人脸,对人脸图像对数据集进行预处理;

将预处理后的人脸图像输入到由两个ResNet‑34构成的差分网络中,经过一个卷积层提取出浅层特征图;

将上述浅层特征图输入由依次级联的四个残差模块组构成的残差网络,提取出人脸图像的全局特征;

在第二层与第四层残差模块之间嵌入空间注意力模块,调节浅层特征图未被遮挡区域像素的权重,输出一个空间位置权重特征图;

将所述空间位置权重特征图与第四层残差模块输出的特征图通过相乘连接,通过跨层信息的融合,获取到来自低层的局部细节特征;

将突出局部细节特征后的遮挡图像与未遮挡图像特征图差值的绝对值作为通道注意力模块的输入;

通道注意力模块根据输入的绝对值在突出局部细节特征后的遮挡图像和未遮挡图像的特征图上按通道进行标定,标定后的特征图送入全连接层输出分类结果;

联合优化交叉熵损失函数和人脸对图像由于差异引起的对比损失,对网络进行迭代训练;

经过多轮训练后,网络损失趋于稳定,迭代训练过程结束,得到训练好的网络模型;

将目标域单样本人脸Gallery集和部分遮挡的测试人脸图像输入到训练好的网络模型中,模型根据人脸图像特征余弦距离计算输出最终遮挡的人脸所属类别。

2.根据权利要求1所述的基于注意力机制的单样本部分遮挡人脸识别方法,其特征在于,对人脸图像对数据集进行预处理包括将人脸图像裁剪为128×128大小,并对裁剪后的人脸图像进行像素归一化操作,表示为:Xpix=(Xpix‑128)/128;

其中,Xpix为人脸图像对应的像素值。

3.根据权利要求1所述的基于注意力机制的单样本部分遮挡人脸识别方法,其特征在于,经过一个卷积层提取出浅层特征图包括:将通道数为3的人脸图像输入卷积核大小为3×3、通道数为64、步长为1的卷积层进行特征提取,输出大小为128×128、输出通道变为64的特征图,并将该特征图经过最大池化层,得到人脸图像的浅层特征图。

4.根据权利要求1所述的基于注意力机制的单样本部分遮挡人脸识别方法,其特征在于,在依次级联的四个残差模块组中,照级联顺序每个残差模块组依次包括3、4、6、3个残差模块,按照级联顺序每个残差模块组输出的特征图大小为64×64、32×32、16×16、8×8。

5.根据权利要求4所述的基于注意力机制的单样本部分遮挡人脸识别方法,其特征在于,获取来自低层的局部细节特征的过程包括:第二层残差模块与第四层残差模块之间嵌入空间注意力模块;

将输入的h′×w′×c′的三维张量,利用全局平均池化和全局最大池化,得到权向量特征图;

使用一个卷积核为7×7、填充大小为3、通道数为1的卷积层以及Sigmoid非线性激活层对权向量特征图进行处理;

将第四层残差组模块输出的8×8大小的特征图通过双线性插值法上采样为32×32的特征图;

将上采样后的特征图与处理后的权向量特征图进行相乘,再通过下采样输出8×8大小的特征图,得到来自低层的局部细节特征。

6.根据权利要求1所述的基于注意力机制的单样本部分遮挡人脸识别方法,其特征在于,通道注意力模块根据输入的绝对值在突出局部细节特征后的遮挡图像和未遮挡图像的特征图上按通道进行标定包括:

将突出局部细节特征后的遮挡图像和未遮挡图像的特征图做一个相减操作,并将相减得到的差的绝对值作为通道注意力模块的输入;

通道注意力模块分别采用全局平均池化以及全局最大池化操作来获得两个1×1×C的通道描述;

两个通道描述分别送入一个浅层的神经网络,浅层的神经网络中第一层神经元个数是C/r,激活函数为ReLU,第二层神经元个数为C;

将浅层的神经网络提取的两个特征图相加合并,利用Sigmoid激活函数获得各个通道的权重系数;

得到特征通道的权重之后,通过乘法逐通道加权到突出局部细节特征后的遮挡图像和未遮挡图像的特征上,完成在通道维度上的原始特征重标定;

其中,C为通道数,r为降维因子。

7.根据权利要求1所述的基于注意力机制的单样本部分遮挡人脸识别方法,其特征在于,交叉熵损失函数表示为:

i

其中, 为交叉熵损失函数; 表示网络中样本y的身份分类概率, 表示第i个人脸图像对中存在遮挡的人脸图像,F为差分网络中最后一个卷积层后的全连接层, 表示进行通道注意力掩模运算后的存在局部遮挡的人脸的特征,μ(·)表示通道注意力输出的权重特征图,是值为[0,1]之间的掩膜;f(·)代表卷积层最后输出的特征;n表示人脸图像的训练集总样本数。

8.根据权利要求1所述的基于注意力机制的单样本部分遮挡人脸识别方法,其特征在于,对比损失函数表示:

其中, 为由于遮挡区域的存在所造成的两张图片对比损失,μ(·)表示通道注意力输出的权重特征图,是值为[0,1]之间的掩膜; 表示第i个人脸图像对中存在遮挡的人脸i

图像;x表示第i个人脸图像对中不存在遮挡的人脸图像;f(·)代表卷积层最后输出的特征;n表示人脸图像的训练集总样本数。

9.基于注意力机制的单样本部分遮挡人脸识别系统,其特征在于,包括图像获取模块、数据预处理模块、神经网络模块以及输出模块,其中:图像获取模块,用于输入数据集,获取人脸图像信息或待测人脸图像;

数据预处理模块,用于对人脸图像作像素归一化处理,同时在源域数据集中做数据增强,通过随机添加遮挡物的操作对源域的训练集进行扩展;

神经网络模块,用于构建并训练由两个嵌入注意力机制的相同ReseNet‑34所构成的差分神经网络;

输出模块,用于输出待测人脸图像的最终所属身份类别,即利用源域训练好的模型迁移到目标域数据集上,将单样本人脸Gallery集和部分遮挡的测试人脸图像送入模型,判断出部分遮挡的测试人脸图像的身份。