欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2020114616387
申请人: 福建农林大学
专利类型:发明专利
专利状态:已下证
专利领域: 电通信技术
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于深度神经网络的数字视频删帧篡改检测方法,其特征在于,包括如下步骤:步骤S1、将待检测视频剪辑成为若干个视频片段;

步骤S2、利用多尺度差分卷积网络MsDCNN从视频片段中提取相邻帧的像素级差分特征和全局差分特征,将二者融合形成多尺度差分特征;

步骤S3、将步骤S2得到的多尺度差分特征输入使用单向注意力机制的LSTM网络,经过全连接层得到视频片段的网络输出分数,判断视频片段中间点是否存在删帧;

步骤S4、对步骤S3得到的结果进行进一步分析,利用基于视频局部时空特征的后处理方法减少误检;

所述步骤S1具体实现方式为:

首先解码待测视频,得到n张视频帧的RGB图像,然后将得到的n张RGB图像转换为灰度图,再重采样至128×128像素大小,最后将重采样后的n张灰度图划分成n‑9个连续的10帧的片段;

所述步骤S2具体实现方式为:

提取多尺度差分特征的MsDCNN由FDCNN和PDCNN两部分组成;FDCNN在卷积神经网络之前对视频相邻帧像素矩阵进行差分运算,PDCNN则在剪辑片段输入卷积神经网络之后对输出的高维特征进行差分运算;在FDCNN中,首先对步骤S1得到的10帧的视频片段中的相邻帧进行对应位置像素差分运算,每个片段得到9张差分图,再通过卷积神经网络从差分图中提取特征;其表达式如公式(1)所示:dp(f,f+1)=c(Pf+1‑Pf);    (1)其中f和f+1分别表示视频中的第f帧和第f+1帧;Pf和Pf+1分别表示第f帧和第f+1帧的像素矩阵;c(·)表示卷积神经网络;

而在PDCNN中是先利用卷积神经网络从10张视频帧图像中提取高维特征,再对提取的

10个48维的特征向量进行相邻帧差分运算得到9个48维的全局差异特征,其表达式如公式(2)所示:dg(f,f+1)=c(Pf+1)‑c(Pf);      (2)FDCNN和PDCNN中的卷积神经网络结构相同,均由6个卷积层和5个池化层组成,其中第一层卷积核大小为5×5,第5层卷积核大小为1×1,其余4层卷积核大小为3×3;卷积层的步长为1,不使用全零填充;5个池化层中前两层使用最大池化,后三层使用平均池化,所有池化都使用2×2大小,步长为2的池化核;在每层卷积后都使用ELU激活函数;

FDCNN从10个视频帧图像中提取9个48维的像素级差异特征dp,PDCNN从10个视频帧图像中提取9个48维的全局差异特征dg;最后通过维度叠加的方式将dp和dg进行融合形成96维的特征向量D,D的表达式如公式(3)所示;

D(f,f+1)={dp(f,f+1),dg(f,f+1)};       (3)最终,对每个10帧片段的输入,MsDCNN输出9个96维的多尺度差分特征;

所述步骤S3具体实现方式为:

步骤S31、10张视频帧图像经过MsDCNN后得到LSTM网络的输入T={D1,D2,D3,...,Dt|t=

9},Dt为LSTM网络t时刻的输入,使用1层144个神经元的LSTM模型,LSTM的前向传播过程可以表示为:it=σ(Wi·[ht‑1,Dt]+bi);    (4)ft=σ(Wf·[ht‑1,Dt]+bf);     (5)ot=σ(Wo·[ht‑1,Dt]+bo);     (6)zt=tanh(Wz·[ht‑1,Dt]+bz);    (7)ct=it⊙zt+ft⊙ct‑1;           (8)ht=ot⊙tanh(ct);            (9)其中Wi表示当前输入的权重矩阵,b为偏置项,σ表示sigmiod函数,⊙表示各个元素的乘积,输入门it控制LSTM的总输入zt信息的多少,存储单元ct记录当前时刻t的状态,遗忘门ft和输出门ot决定LSTM在当前时刻t的输出,在LSTM中使用单向的注意力机制在每个时刻都考虑前n个时刻的输出;ht为t时刻LSTM的输出;

步骤S32、LSTM后使用一个全连接层分类器,输出视频片段的分数,最终得到待测视频中n‑9个视频片段的网络输出分数,当输出分数大于0时,表示该片段的中间位置存在删帧,否则判断其不存在删帧;

所述步骤S4具体实现方式为:

步骤S41、对待测视频按照步骤S1‑S3进行处理后,得到删帧点的索引集合Vp;

步骤S42、对Vn中的每一个删帧点,计算其前后500帧不包含该点的网络输出分数的中值md;

步骤S43、计算每一个删帧点左边50帧中输出分数大小排序前20的分数均值ml,右边50帧中输出分数大小排序前20的分数均值mh,然后计算ml和mh的均值m;

步骤S44、使用每个删帧点的输出分数f(k)减去m和md的差得到处理后的分数fp(k):fp(k)=f(k)‑(m‑md),k∈Vp;        (10)其中

W(k)={k‑500,...,k+500};       (13)步骤S45、经过上述计算后,fp(k)大于0的帧所在位置即为待测视频中的删帧位置。