1.一种基于人脸关键点的高效伪造人脸视频检测方法,其特征在于,包括如下步骤:
1)传入具有真实人脸图像的视频数据集和假人脸图像的视频数据集进行训练;
2)对步骤1)所传入的人脸视频通过开源人脸关键点检测模型mediapipe对每帧的人脸图像进行人脸特征点提取;
3)由于假人脸和真实人脸在人脸关键点的波动情况是不一样的,将步骤2)所获得的人脸特征点帧与帧之间的移动进行跟踪,通过LK光流算法计算特征点的光流,从而描述人脸特征点的动态性;
4)由于采用LK光流法会引入噪声干扰图像特征标记的稳定性,设计去噪扩散概率模型DDPM整合步骤3)特征点的检测和预测的信息,得到去噪后的人脸特征序列;
5)将步骤4)中去噪后人脸特征序列输入到RNN神经网络中进行虚假视频分类,并通过全连接层进行真假人脸的预测。
2.根据权利要求1所述的基于人脸关键点的高效伪造人脸视频检测方法,其特征在于,所述步骤1)中视频数据集采用Andreas提出的公开防伪人脸检测数据集facefrensic++,包括真实人脸视频和真实人脸视频对应的生成式假人脸视频。
3.根据权利要求1所述的基于人脸关键点的高效伪造人脸视频检测方法,其特征在于,所述步骤2)中对每帧人脸特征点提取的步骤为:
2.1)首先将输入的视频数据拆分为帧,导入mediapipe算法包引入FaceDetection人脸关键点检测函数对每帧的图像中的人脸关键点进行检测,人脸关键点检测置信度confidence设置为0.5,每个关键点由位置坐标(x,y)构成,通过FaceDetection函数捕捉人脸关键点,并通过人脸关键点勾勒出面部标志性轮廓,利用仿射变换将标志点对齐到预设位置。
4.根据权利要求1所述的基于人脸关键点的高效伪造人脸视频检测方法,其特征在于,所述步骤3)中对人脸特征点进行跟踪,通过LK光流算法计算特征点的光流的步骤为:
3.1)将步骤2)中所述的每帧图像定义为framei,framei后面一帧的图像定义为framei+1,将每帧图像framei中的图像小特征块定义为Pi,将后面一帧图像同样大小的小图像特征块定义为Pi+1,LK光流法的核心是跟踪特征点,就需要使得人脸特征块Pi和Pi+1之间T的像素位移d=[dx,dy]最小;
T
3.2)将Pi的中心点定义为xi=[x,y] ,由步骤3.1)得到Pi+1里面的跟踪预测点xi+1=xi+d,因此用公式(1)来表示位移向量,T
公式(1)中像素位移d初始化为d=[0,0] ,通过Δd来更新迭代d,d←d+Δd直到d收敛,Ω代表以xi为中心点的所有小特征块的集合, exp是以自然常数e为底的指数函数,αx用来减少远离中心位置的权重做一个平缓的预测;
3.3)通过公式(2)来实现Δd,
其中 是Hessian ma矩阵, 是由垂直连接产生的,是Jacobian矩阵,C代表每个小特征块Pi的通道个数,A是一个对角矩阵,其元素由αx组成,对J中x对应的Jacobian矩阵进行加权,从而通过Δd更新d,来预测下一帧framei+1中Pi+1的中心点xi+1=xi+d。
5.根据权利要求1所述的基于人脸关键点的高效伪造人脸视频检测方法,其特征在于,所述步骤4)中设计去噪扩散概率模型得到去噪后的人脸特征序列的步骤为:
4.1)由步骤3)所述LK光流法得到的预测点xi+1序列采用函数q(x0)进行表示,采用去噪扩散概率模型对预测值进行去噪;
4.2)采用马尔科夫链来进行去噪扩散概率模型的前向传播,这个动态过程由公式(3)表示,其中xt是framei+1中Pi+1的中心点xi+1,t=1,...,T,T代表总帧数,每个步骤添加的噪声量用方差表定义βt∈(0,1), 表示正态分布函数,q(xt|xt‑1)表示先验概率, I表示每帧图像的小特征图的像素块;
4.3)反向传播过程由公式(4)表示,
pθ(xt‑1|xt)代表后验概率,对于t=T,...,1, θ代表常量参数,at=1‑βt和 μθ函数公式如下,
4.4)设计的去噪扩散概率模型损失函数如公式(6),LT=DKL(q(xT|x0)||p(xT)) (6),其中DKL表示KL散度。
6.根据权利要求1所述的基于人脸关键点的高效伪造人脸视频检测方法,其特征在于,所述步骤5)中人脸特征序列分类和真假人脸预测的步骤为:
5.1)将步骤3)的标定人脸关键点特征和通过步骤4)进行去噪后的预测人脸关键点特征序列嵌入到αi和βi两组特征向量序列中,然后输入到双流RNN中进行伪视频分类;
a a a a T
5.2)每一个标志点采用X表示,X=[x ,y] ,因此把第一种特征向量定义为αi公式(7)所示,人脸标志点序列表示为αi看作从序列Li进行扁平化操作,n是一帧图像中人脸关键点个数;
5.3)第二种特征向量定义为βi,公式如下,
βi=αi+1‑αi (8),
βi表示连续帧间地标位置的差异;
T
5.4)通过在两个RNN神经网络模型中嵌入得到两个特征向量A=[α1,...,αn] ,B=T[β1,...,βn] ,一个RNN在A上建模面部形状运动模式,另一个RNN在B上建模面部标记差异模式,用来捕捉时间的不连续;
5.5)将全连接层加到每个RNN的输出做出自己的预测,两个流的A,B平均值作为最终预测,将这些预测操作归结为一个函数f(·,·)如公式(9),f(g1(A),g2(B)) (9),
g1代表第一个RNN神经网络操作,g2代表第二个RNN神经网络操作,因此最后的预测视频片段的人脸真假的可能性通过公式(9)得出。