1.一种基于自适应上下文注意力机制的口罩遮挡人脸恢复方法,其特征在于,包括:
1)从互联网上下载预先训练好分割口罩图像的全卷积神经网络FCN网络和未训练的U型网络U‑Net;
2)构建由两个卷积层和一个反卷积层级联组成的自适应上下文注意力机制模块,并将该自适应上下文注意力机制模块与四层卷积层级联和四层级联的卷积层并联,得到的结果和五层反卷积层级联,组成图像精细恢复网络;
3)构建由两个依次连接的六个卷积层和两个全连接层级联组成的全局和口罩遮挡区域判别网络;
4)采集成对的口罩遮挡和无遮挡的人脸图像,并将这两部分图像分别放置于无遮挡图像文件夹W1和有口罩遮挡图像文件夹W2,按照1:1的近似比将无遮挡图像文件夹W1和有口罩遮挡图像文件夹W2中的图片对划分为训练集和测试集;
5)将有口罩遮挡图像文件夹W2中的训练集和测试集图像输入到预先训练好的FCN网络中,分别得到训练口罩掩膜和测试口罩掩膜;
6)将有口罩遮挡图像文件夹W2中的训练集图像输入U型网络U‑Net中,利用随机梯度下降的方式对其进行训练,得到训练好的U型网络U‑Net模型;
7)将有口罩遮挡图像文件夹W2中的训练集和测试集图像输入到训练好的U型网络U‑Net中,分别得到训练粗恢复图像和测试粗恢复图像;
8)将训练粗恢复图像和训练口罩掩膜输入图像精细恢复网络中,利用随机梯度下降的方式对图像精细恢复网络进行训练,得到初步训练好的图像精细恢复网络;
9)将训练粗恢复图像和训练口罩掩膜输入到初步训练好的图像精细恢复网络中,得到精细恢复图像;
10)将精细恢复图像、训练口罩掩膜和无遮挡图像文件夹W1中与精细恢复图像对应的训练集图像输入到全局和口罩遮挡区域判别网络中,利用随机梯度下降的方式对其进行训练,得到训练好的全局和口罩遮挡区域判别网络;
11)将精细恢复图像和训练口罩掩膜输入到训练好的全局和口罩遮挡区域判别网络中,利用得到的判别值对初步训练好的图像精细恢复网络进行再一次训练,得到最终训练好的图像精细恢复网络;
12)将测试粗恢复图像和测试口罩掩膜输入到最终训练好的图像精细恢复网络中,得到最终精细恢复图像。
2.如权利要求1所述的方法,其特征在于,2)中自适应上下文注意力机制模块中的两个的卷积层Conv1和Conv2,其卷积核的大小均为3×3、步长为1、激活函数为Relu,用于对图像注意力图Attentionmap1的数值进行更新。
3.如权利要求1所述的方法,其特征在于,2)中自适应上下文注意力机制模块中的反卷积层Dconv1,其大小为4×4×96,步长为1、激活函数为Relu、以数值更新后的Attentionmap1作为卷积核,用于对图像特征进行反卷积的操作,获取图像的上下文特征Fca。
4.如权利要求1所述的方法,其特征在于,2)中构建的图像精细恢复网络,其包括三条支路,第一支路由第1卷积层‑>第2卷积层‑>第3卷积层‑>第4卷积层‑>自适应上下文注意力机制模块级联组成,第二支路由第5卷积层‑>第6卷积层‑>第7卷积层‑>第8卷积层依次级联组成,第三支路由第1反卷积层‑>第2反卷积层‑>第3反卷积层‑>第4反卷积层‑>第5反卷积层组成的级联组成,该第一支路与第二支路并联后,再与第三支路级联,组成图像精细恢复网络,每个卷积层和反卷积层的卷积核大小均为3×3。
5.如权利要求1所述的方法,其特征在于,3)中构建的全局和口罩遮挡区域判别网络,其结构为:第一卷积层‑>第二卷积层‑>第三卷积层‑>第四卷积层‑>第五卷积层‑>第六卷积层‑>第一全连接层‑>第二全连接层‑>Sigmoid函数,其中:每个卷积层的卷积核大小均为3×3,步长为2;
第一全连接层的大小为1×512;
第二全连接层的大小为1×1;
Sigmoid函数的表达式为: x表示输入,S(x)表示输出。
6.如权利要求1所述的方法,其特征在于,6)中对U型网络U‑Net进行训练,其实现如下:
6a)设置训练的学习率为0.001,最大迭代次数为1000;
6b)将有口罩遮挡图像文件夹W2中的训练集图像输入到U型网络U‑Net中,得到粗图像;
6c)计算粗图像和无遮挡图像文件夹W1中与粗图像对应的训练集图像的重构损失函数Lrec1:其中,其中i表示像素的索引,n0表示一张粗图像的像素总数, 表示粗图像中第i个像素点的取值, 表示无遮挡图像文件夹W1中与粗图像对应的训练集图像的第i个像素点的取值,|·|表示取绝对值的操作;
6d)重复6a)~6c),迭代优化重构损失函数Lrec1,直到达到最大迭代次数或重构损失函数Lrec1达到收敛时,得到训练好的U型网络U‑Net模型。
7.如权利要求1所述的方法,其特征在于,8)中利用随机梯度下降算法对图像精细恢复网络进行训练,其实现如下:
8a)设置训练的学习率为0.000015,最大迭代次数为30000;
8b)将训练粗恢复图像与训练口罩掩膜相乘输入图像精细恢复网络的第1卷积层,训练粗恢复图像输入图像精细恢复网络的第5卷积层,得到细图像;
8c)计算细图像与无遮挡图像文件夹W1中与细图像对应的训练集图像的L2损失函数Lrec2:pred
其中,i表示像素的索引,n表示一张细图像的像素总数,Irefine,i 表示细图像第i个像gt素点的取值,Irefine,i 表示无遮挡图像文件夹W1中与细图像对应的训练集图像的第i个像2
素点的取值,(·) 表示取平方的操作;
8d)重复8b)~8c),迭代优化损失函数,直到达到最大迭代次数或L2损失函数Lrec2达到收敛时,得到初步训练好的图像精细恢复网络。
8.如权利要求1所述的方法,其特征在于,10)中利用随机梯度下降算法对全局和口罩遮挡区域判别网络进行训练,其实现如下:
10a)设置训练的学习率为0.000015,最大迭代次数为3000;
10b)将精细恢复图像输入到全局和口罩遮挡区域判别网络中,得到精细恢复图像的判别值GID,将无遮挡图像文件夹W1中与精细恢复图像对应的训练集图像输入到全局和口罩遮挡区域判别网络中,得到其判别值GSD;
10c)将精细恢复图像与训练口罩掩膜相乘并输入到全局和口罩遮挡区域判别网络中,得到精细恢复图像口罩遮挡区域的判别值GID‑mask,将无遮挡图像文件夹W1中与精细恢复图像对应的训练集图像与训练口罩掩膜相乘并输入到全局和口罩遮挡区域判别网络中,得到其判别值GSD‑mask;
10d)计算精细恢复图像与无遮挡图像文件夹W1中与精细恢复图像对应的训练集图像的判别损失函数LD:
10e)重复10b)~10d),迭代优化损失函数,直到达到最大迭代次数或判别损失函数LD达到收敛时,得到训练好的全局和口罩遮挡区域判别网络。
9.如权利要求1所述的方法,其特征在于,11)中对初步训练好的图像精细恢复网络进行再一次训练,其实现如下:
11a)设置训练的学习率为0.000015,最大迭代次数为50000;
11b)将精细恢复图像输入到训练好的全局和口罩遮挡区域判别网络中,得到精细恢复图像的判别值GRI,将精细恢复图像与训练口罩掩膜相乘并输入到训练好的全局和口罩遮挡区域判别网络中,得到精细恢复图像口罩遮挡区域的判别值GRI‑mask;
11c)计算精细恢复图像的生成损失函数LG:
其中,log(·)表示取自然对数的操作;
11d)使用生成损失函数LG和反向传播算法对初步训练好的图像精细恢复网络中所有卷积核的参数进行更新;
11e)重复11b)~10d),迭代优化损失函数,直到达到最大迭代次数或生成损失函数LG达到收敛时,得到最终训练好的图像精细恢复网络。