1.一种基于极坐标变换的平面内旋转不变人脸检测方法,其特征在于,包括以下步骤:对人脸数据集进行预处理,将选中的人脸关键点坐标从笛卡尔坐标系转换为极坐标,获得极坐标域下的关键点的位置坐标;
通过MobileNetV2网络和特征图金字塔网络FPN特征融合模块构建特征生成网络,提取来自数据集的训练样本特征;
利用获得的中心坐标和宽高计算得到人脸区域的检测框,通过感兴趣区域池化RoI‑Pooling对原始的特征图进行裁剪获得人脸区域的特征,并且通过极坐标变换模块进行特征变换;
将特征变换后的特征输入到特征修复融合模块SEM中进行特征修复融合;
将修复融合后的特征输入到子网络中进行人脸关键点估计任务的训练;
使用训练完成的卷积神经网络对待测的人脸图像进行处理,根据卷积神经网络参数获得其人脸分类概率、边界框回归向量和人脸关键点估计定位。
2.根据权利要求1所述的一种基于极坐标变换的平面内旋转不变人脸检测方法,其特征在于,所述人脸数据进行预处理,将选中的人脸关键点坐标从笛卡尔坐标系下转换为极坐标下,获得极坐标域下的关键点的位置坐标,具体包括以下步骤:
1)预处理过程中,设置单张图像中人脸的阈值facemax来限制输入到网络的人脸数量;
Face=Min(facenum,facemax) (1)其中Face为输入到网络中人脸数量,Min为选取facenum和facemax中的最小值,facenum是单张图像中的人脸数量;facemax是设置的人脸数量阈值,使得输入到训练网络中的人脸数目不会超过所设定阈值;
2)对数据集中人脸关键点标注信息进行预处理,将标注信息中笛卡尔坐标系中的(x,y)的标注坐标转化为极坐标(r,θ)的标注信息,其具体的变换过程为:其中 为极坐标变换中心,极点在笛卡尔坐标系下的坐标;(x,y)是笛卡尔坐标系下要变换的坐标;θ是(x,y)与 两点之间的角度;r是(x,y)与 之间的距离。
3.根据权利要求2所述的一种基于极坐标变换的平面内旋转不变人脸检测方法,其特征在于,所述通过MobileNetV2网络和FPN特征融合模块构建特征生成网络,提取来自的训练样本特征,具体包括:通过MobileNetV2网络获得不同尺度的C2、C3、C4和C5四个特征层,用于人脸区域特征提取和FPN特征融合获得增强的特征层F1,具体包含以下步骤:将MobileNetV2提取的特征层C3、C4和C5通过一个Con1×1的卷积核获得P3、P4和P5的特征层,并通过反卷积将P3和P4的特征层进行上采样至P5相同的的尺寸(128×128)进行特征融合,获得增强特征层F1。
4.根据权利要求3所述的一种基于极坐标变换的平面内旋转不变人脸检测方法,其特征在于,所述将提取到的人脸特征送入到网络的检测器中,获得人脸的宽高和中心坐标,具体步骤如下:
1)将FPN输出的增强特征层F1分别输入到人脸分类检测器和人脸宽高宽高检测器,以获得人脸的中心坐标Cp和人脸框bbox的宽Fw和高Fh;
2)人脸的定位采用的是热图Heatmap的方式来获得人脸的中心坐标Cp,在预处理过程中来获得中心坐标;其中(x1,y1)和(x2,y2)代表标注信息中的人脸框的左上角和右上角的坐标值;并将得到的Cp映射到关键点特征图中,用于计算人脸定位的Loss,关键点特征图为 其中R为网络下采样的比例设置为4,W、H分别代表输入网络图像的宽、高;
C为类别,设置为1; 代表此处为人脸的中心点, 代表此处为背景;
为使训练的过程中找到人脸的中心点,使用高斯核对中心点进行平滑处理,具体公式为:其中由于网络输出的特征图尺寸为 所以网络训练时Cp的坐标 σp
为根据当前目标Cp的尺寸自适应得到的标准差;
输入FPN输出的增强特征图F1与得到的关键点特征图进行Loss计算来优化人脸定位任务,其中Loss函数使用的时Focal Loss函数,具体的计算过程如下:其中α、β是可调整的超参数,设置为2和4,N是图片中目标的个数;
3)其中人脸的宽高是学习一种将网络位置输出 映射到特征图中心位置(x,y)的变换,在预处理的过程中通过对数来进行归一化处理,便于回归,其具体的计算过程如下:通过L1 loss计算回归的损失函数, 分别表示人脸宽高的归一化表示。
5.根据权利要求4所述的一种基于极坐标变换的平面内旋转不变人脸检测方法,其特征在于,所述利用获得的中心坐标和宽高计算得到人脸区域的检测框,通过RoI‑Pooling对原始的特征图进行裁剪获得人脸区域的特征,并且通过极坐标变换模块进行特征变,具体包含以下步骤:
1)将MobileNetV2提取到的C2特征图和检测器预测得到的人脸中心点Cp和人脸的高Fh和宽FW输入到RoI_Pooling中得到人脸区域的特定特征区域F3,其用公式表示如下:其中RoI_Pooling是特征裁剪池化操作,将不同大小的人脸特征,统一到相同大小,设置为(64*64);fb是获得人脸框的(x1,y1)(x2,y2)的操作;C2则是mobileNetV2提取到的特征图;
2)将得到的特征图F3输入到极坐标变换模块中进行坐标系的变换将笛卡尔积坐标系下的人脸特征,变换为极坐标下的人脸特征,其具体的计算公式为:其中 是极坐标下对应的坐标点; 是原始特征图F3中的对应坐标;(x0,y0)是人脸变换的中心点;r是距离人脸中心点最远的距离,其具体的值为 H和W为输出极坐标特征图的高和宽。
6.根据权利要求5所述的一种基于极坐标变换的平面内旋转不变人脸检测方法,其特征在于,所述将变换后的特征输入特征修复融合模块SEM中进行特征修复融合,具体包括以下步骤:
1)特征修复模块是一个递归神经网络,每个递归单元称为自样本挖掘模块SEM,它由三部分特征融合而成,分别为Fp的本地分支特征Local Branch,局部特征IS_NL以及多尺度非局部特征CS‑NL融合而成;
2)Local Branch不对Fp做任何操作,直接输入到SEM中,得到本地局部特征Fpl;
3)IS_NL,给定图像特征图Fp,非局部注意力定义为:
其中Fp是输入的特征图;其中的(i,j)(g,h)和(u,v)是Fp的坐标对, 是特征函数变换; 是用于测量相似性的相关函数,定义为:其中θ(.)和δ(.)是特征变换函数,并得到非本地注意力机制增强的特征FPIS;
4)CS_NL是多尺度非局部特征注意力机制,具体的计算公式为:
其中 是一个特征补丁,用于对特征进行加权平均的权重值;由此得到了增强的特征FPCL;
5)对于得到的增强特征,进行相互投影融合,其具体的融合过程为:
RPIC=FPIS‑FPCL (14)FPIC=Conv(RPIC)+FPIS (15)e=FPL‑downsample(FPIC) (16)H=upsample(e)+F(PIC) (17)其中上面的downsample是下采样操作,upsample是上采样操作;FPIC是将FPIS和FPCL取残差得到的特征;将得到的特征e与FPIC求和来获得最终的融合特征H;并将H输入到人脸关键点子网络中进行人脸关键点的预测。
7.根据权利要求6所述的一种基于极坐标变换的平面内旋转不变人脸检测方法,其特征在于,所述使用训练完成的卷积神经网络对待测的人脸图像进行处理,根据卷积神经网络参数获得其人脸分类概率、边界框回归向量和人脸关键点估计定位,具体包括:由于整个网络的任务分为人脸定位,人脸框高宽和人脸关键点估计,对于人脸的高宽使用L1‑Loss进行优化,对于人脸定位和人脸关键点估计,由于同样使用的是Heatamp的方式进行定位,使用的是Focal Loss进行计算;
整体的损失函数如下:
L=Lc+γboxLbox+γlmLlm (18)其中Lc是人脸定位的损失函数;Lbox,Llm是人脸框的高宽和人脸关键点定位的损失函数;γbox,γlm是总损失函数的超参数。