1.一种基于超分辨率重建的视线估计方法,其特征在于,执行如下步骤S1‑步骤S5,完成目标对象的人脸视线估计:步骤S1:使用摄像头采集预设数量的人脸图像,构建人脸图像训练集;
步骤S2:构建超分辨率重建模块,包括预设数量的残差块和与其相对应的格式转换块,超分辨率重建模块以低分辨率的人脸图像为输入,基于各残差块采用逐步上采样方式对人脸图像中的特征进行上采样,生成预设大小的高分辨率的人脸图像;
步骤S3:对超分辨率重建模块进行预训练,获得预训练好的超分辨率重建模块;
步骤S4:构建视线估计模块,以超分辨率重建模块输出的高分辨率的人脸图像为输入,采用ResNet50提取人脸图像中的特征,并基于空间权重机制,赋予人脸图像中各区域的权重,通过增加人脸图像中视线相关区域的权重,抑制其他区域的权重,获得针对人脸图像的视线估计结果;
步骤S5:采用步骤S1所构建的人脸图像训练集对超分辨率重建模块、视线估计模块进行整体训练,以完成对目标对象的人脸视线估计。
2.根据权利要求1所述的一种基于超分辨率重建的视线估计方法,其特征在于,步骤S3中采用人脸数据集FFHQ对超分辨率重建模块进行预训练。
3.根据权利要求1所述的一种基于超分辨率重建的视线估计方法,其特征在于,步骤S2所述的超分辨率重建模块具有依次串联的6个残差块,对低分辨率的人脸图像进行逐步上采样,以提取其中特征,第一个残差块的输入为大小为C×16×16的学习常数F0,其中C是通道大小;第i个残差块的输入为特征Fi‑1,输出为特征Fi,最后一个残差块输出特征F6通过ToRGB卷积层转换为RGB图像,并输出高分辨率的人脸图像具体如下式:其中表示残差卷积块,表示上采样残差卷积块,表示风格转换块;
风格转换块的输入为由低分辨率的人脸图像IL和与其对应的解析图IP所构成的输入对,表示为和分别为第i个风格转换块输入的低分辨率的人脸图像和与其对应的解析图;
风格转换块从输入对的尺度中学习Fi的风格转换参数yi=(ys,i,yb,i),表示为下式:式中,γ表示轻量级网络,其中μ和σ是特征的均值和标准差,ys,i为对应的风格转换参数,yb,i为对应的风格转换参数。
4.根据权利要求3所述的一种基于超分辨率重建的视线估计方法,其特征在于,超分辨率重建模块引入语义感知风格损失采用relu3_1、relu4_1、relu5_1层的VGG19特征来计算语义感知风格损失具体如下式:式中,φi表示VGG19中的第i层的特征,Mj表示带有标签j的解析掩码,表示超分辨率重建模块输出的高分辨率的人脸图像,IH表示超分辨率重建模块输出的高分辨率的人脸图像的真实值,g表示用解析掩码Mj计算特征φi的Gram矩阵,公式如下:式中,⊙表示元素乘积,ε=1e‑8用于避免除数为零。
5.根据权利要求4所述的一种基于超分辨率重建的视线估计方法,其特征在于,超分辨率重建模块引入重建损失用于将超分辨率重建模块输出的高分辨率的人脸图像约束在其真实值IH的位置,重建损失的计算如下式:式中,等式右侧第二项为多尺度特征匹配损失,用于匹配和I H的鉴别器特征,是下采样因子,Ds(·)表示下采样因子所对应的鉴别器,表示Ds中的第k层特征。
6.根据权利要求5所述的一种基于超分辨率重建的视线估计方法,其特征在于,超分辨率重建模块引入对抗性损失具体如下式:基于多尺度鉴别器和合页损失构建目标函数具体如下式:
基于语义感知风格损失重建损失对抗性损失构建超分辨率重建模块的损失函数如下式:式中,λSS、λrec、λadv分别为对应于语义感知风格损失重建损失对抗性损失的权重。
7.根据权利要求1所述的一种基于超分辨率重建的视线估计方法,其特征在于,步骤S4的具体方法如下:步骤S4.1:采用预训练的ResNet50作为特征提取器,从超分辨率重建模块输出的预设大小的高分辨率的人脸图像中提取特征,输出特征图;
步骤S4.2:采用空间权重机制,通过一个支路学习人脸图像中人脸区域各位置的权重,用于增加人脸图像中视线相关区域的权重,抑制其他区域的权重;
步骤S4.3:使用全连接层对特征进行分类,并输出表示视线的坐标(x,y),用于表示视线估计结果。
8.根据权利要求7所述的一种基于超分辨率重建的视线估计方法,其特征在于,步骤S4.2的空间权重机制包含三个卷积层,其过滤器大小为1×1,是一个修正的线性单元层,分别针对各卷积层,从卷积层输入大小为N×H×W的激活张量U,其中N是特征图的通道数量,H和W是特征图的高度和宽度,空间权重机制生成一个H×W空间权重矩阵W,空间权重矩阵W与激活张量U的各通道逐元素相乘得到该通道上的加权激活图,公式如下式:VC=W ⊙UC式中,W为空间权重矩阵,UC表示激活张量U的第C个通道,VC为第C个通道的加权激活图,将各通道的加权激活图堆叠形成加权激活张量V,并被送入下一层卷积层。
9.根据权利要求8所述的一种基于超分辨率重建的视线估计方法,其特征在于,在视线估计模块的训练中,空间权重机制前两层卷积层的过滤器权值由均值为0,偏差为0.1的高斯分布中随机初始化,最后一个卷积层的滤波器权重由均值为0,方差为0.001的高斯分布中随机初始化,并且具有一个恒定的偏差项为1;其中激活张量U和空间权重矩阵W的梯度表示为:式中,N为特征图的通道数量。
10.根据权利要求9所述的一种基于超分辨率重建的视线估计方法,其特征在于,视线估计模块引入损失函数如下式:式中,ξgt表示视线估计的真实值,ξpred表示视线估计的预测值。