1.一种基于超分辨率重建的视线估计方法,其特征在于,执行如下步骤S1-步骤S5,完成目标对象的人脸视线估计:步骤S1:使用摄像头采集预设数量的人脸图像,构建人脸图像训练集;
步骤S2:构建超分辨率重建模块,包括预设数量的残差块和与其相对应的格式转换块,超分辨率重建模块以低分辨率的人脸图像为输入,基于各残差块采用逐步上采样方式对人脸图像中的特征进行上采样,生成预设大小的高分辨率的人脸图像;
步骤S2所述的超分辨率重建模块具有依次串联的6个残差块,对低分辨率的人脸图像进行逐步上采样,以提取其中特征,第一个残差块的输入为大小为C×16×16的学习常数F其中
风格转换块
风格转换块
式中,γ表示轻量级网络,其中μ和σ是特征的均值和标准差,y步骤S3:对超分辨率重建模块进行预训练,获得预训练好的超分辨率重建模块;
步骤S4:构建视线估计模块,以超分辨率重建模块输出的高分辨率的人脸图像为输入,采用ResNet50提取人脸图像中的特征,并基于空间权重机制,赋予人脸图像中各区域的权重,通过增加人脸图像中视线相关区域的权重,抑制其他区域的权重,获得针对人脸图像的视线估计结果;
步骤S5:采用步骤S1所构建的人脸图像训练集对超分辨率重建模块、视线估计模块进行整体训练,以完成对目标对象的人脸视线估计。
2.根据权利要求1所述的一种基于超分辨率重建的视线估计方法,其特征在于,步骤S3中采用人脸数据集FFHQ对超分辨率重建模块进行预训练。
3.根据权利要求2所述的一种基于超分辨率重建的视线估计方法,其特征在于,超分辨率重建模块引入语义感知风格损失式中,φ
式中,⊙表示元素乘积,ε=1e-8用于避免除数为零。
4.根据权利要求3所述的一种基于超分辨率重建的视线估计方法,其特征在于,超分辨率重建模块引入重建损失式中,等式右侧第二项为多尺度特征匹配损失,用于匹配
5.根据权利要求4所述的一种基于超分辨率重建的视线估计方法,其特征在于,超分辨率重建模块引入对抗性损失基于多尺度鉴别器和合页损失构建目标函数
基于语义感知风格损失
式中,λ
6.根据权利要求1所述的一种基于超分辨率重建的视线估计方法,其特征在于,步骤S4的具体方法如下:步骤S4.1:采用预训练的ResNet50作为特征提取器,从超分辨率重建模块输出的预设大小的高分辨率的人脸图像中提取特征,输出特征图;
步骤S4.2:采用空间权重机制,通过一个支路学习人脸图像中人脸区域各位置的权重,用于增加人脸图像中视线相关区域的权重,抑制其他区域的权重;
步骤S4.3:使用全连接层对特征进行分类,并输出表示视线的坐标(x,y),用于表示视线估计结果。
7.根据权利要求6所述的一种基于超分辨率重建的视线估计方法,其特征在于,步骤S4.2的空间权重机制包含三个卷积层,其过滤器大小为1×1,是一个修正的线性单元层,分别针对各卷积层,从卷积层输入大小为N×H×W的激活张量U,其中N是特征图的通道数量,H和W是特征图的高度和宽度,空间权重机制生成一个H×W空间权重矩阵W,空间权重矩阵W与激活张量U的各通道逐元素相乘得到该通道上的加权激活图,公式如下式:V
式中,W为空间权重矩阵,U
8.根据权利要求7所述的一种基于超分辨率重建的视线估计方法,其特征在于,在视线估计模块的训练中,空间权重机制前两层卷积层的过滤器权值由均值为0,偏差为0.1的高斯分布中随机初始化,最后一个卷积层的滤波器权重由均值为0,方差为0.001的高斯分布中随机初始化,并且具有一个恒定的偏差项为1;其中激活张量U和空间权重矩阵W的梯度表示为:式中,N为特征图的通道数量。
9.根据权利要求8所述的一种基于超分辨率重建的视线估计方法,其特征在于,视线估计模块引入损失函数式中,ξ