欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2019105933830
申请人: 南京信息工程大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-02-23
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于全卷积神经网络的图像拼接篡改定位方法,其特征在于,包括以下步骤:(1)建立拼接篡改图像库,其中包括训练图像和测试图像;

(2)初始化基于全卷积神经网络的图像拼接篡改定位网络,设置该网络的训练过程;

(3)初始化图像拼接篡改定位网络中的参数;

(4)读取训练图像,根据设置的网络训练过程对训练图像进行训练操作,输出训练图像的拼接定位预测结果;

(5)计算训练图像拼接定位预测结果与真实标签之间的误差值,并调整图像拼接篡改网络中的参数,直至误差值满足精度要求;

(6)利用条件随机场对精度满足要求的预测结果进行后处理,并调整图像拼接篡改网络中的参数,输出训练图像最终的预测结果;

(7)读取测试图像,采用训练好的图像拼接篡改定位网络对测试图像进行预测并将预测结果通过条件随机场进行后处理,输出测试图像最终的预测结果。

2.根据权利要求1所述基于全卷积神经网络的图像拼接篡改定位方法,其特征在于,在步骤(1)中,训练图像和测试图像中均包含两类图像,分别是经过拼接篡改的彩色图像和对应的二值化的真实标签图像;二值化的真实标签图像的黑色部分对应彩色图像的未拼接篡改区域,白色部分对应彩色图像的拼接篡改区域。

3.根据权利要求1所述基于全卷积神经网络的图像拼接篡改定位方法,其特征在于,在步骤(2)中,初始化基于全卷积神经网络的图像拼接篡改定位网络的初始化如下:该图像拼接篡改定位网络依次设置1个卷积块、4个结构相同的残差块以及1个反卷积块;相邻块之间通过1个池化层相连;卷积块包含2个卷积层,每个卷积层后紧接1个激活层;

每个残差块包含3个卷积层,前两个卷积层后分别紧接了1个激活层,最后一个卷积层的输出与该残差块的第一个激活层的输出相加后紧接1个激活层;反卷积块包含3个卷积层,前两个卷积层后分别紧接了1个激活层和1个50%Dropout层,最后一个卷积层后紧接了1个反卷积层,实现两倍上采样操作,得到输出1;第二个残差块经过池化层后的输出经过1个卷积层和1个池化层,与输出1相加后紧接1个反卷积层,实现两倍上采样操作,得到输出2;第三个残差块经过池化层后的输出经过1个卷积层和1个池化层,与输出2相加后紧接1个反卷积层,实现八倍上采样操作,得到整个网络的输出。

4.根据权利要求3所述基于全卷积神经网络的图像拼接篡改定位方法,其特征在于,在步骤(2)中,设置该网络的训练过程的步骤如下:(2-1)将训练图像输入图像拼接篡改定位网络,使用卷积块中的卷积核对输入图像进行卷积激活,得到卷积块的特征图;

(2-2)对卷积块的特征图进行池化,经过池化窗口为2×2的最大池化,得到第一池化层的特征图;

(2-3)使用第一残差块的卷积核对第一池化层的特征图进行卷积激活,得到第一残差块的特征图;

(2-4)对第一残差块的特征图进行池化,经过池化窗口为2×2的最大池化,得到第二池化层的特征图;

(2-5)使用第二残差块的卷积核对第二池化层的特征图进行卷积激活,得到第二残差块的特征图;

(2-6)对第二残差块的特征图进行池化,经过池化窗口为2×2的最大池化,得到第三池化层的特征图;

(2-7)使用第三残差块的卷积核对第三池化层的特征图进行卷积激活,得到第三残差块的特征图;

(2-8)对第三残差块的特征图进行池化,经过池化窗口为2×2的最大池化,得到第四池化层的特征图;

(2-9)使用第四残差块的卷积核对第四池化层的特征图进行卷积激活,得到第四残差块的特征图;

(2-10)对第四残差块的特征图进行池化,经过池化窗口为2×2的最大池化,得到第五池化层的特征图;

(2-11)使用反卷积块的卷积核对第五池化层的特征图进行卷积激活,然后进行两倍反卷积,得到反卷积块的特征图1,该特征图1与第四池化层的特征图尺寸相同;

(2-12)对第四池化层的特征图进行卷积激活,与反卷积块的特征图1相加,进行两倍反卷积,得到反卷积块的特征图2,该特征图2与第三池化层的特征图尺寸相同;

(2-13)对第三池化层的特征图进行卷积激活,与反卷积块的特征图2相加,进行八倍反卷积,得到反卷积块的特征图3,该特征图与输入训练图像的尺寸相同,对应了输入训练图像每个像素点的拼接篡改定位预测结果。

5.根据权利要求3所述基于全卷积神经网络的图像拼接篡改定位方法,其特征在于,在步骤(3)中,图像拼接篡改定位网络中的参数初始化如下:首先加载训练好的VGG-16卷积层参数,将图像拼接篡改定位网络中的卷积块和4个残差块中与VGG-16对应的卷积层直接加载VGG-16的对应参数;第二个残差块中的第三个卷积层、反卷积块的所有卷积层、第二个残差块经过池化层后的输出经过的一个卷积层以及第三个残差块经过池化层后的输出经过的一个卷积层的参数全部按照正态分布随机初始化;

设置学习率α;设置每使用batchsize个训练样本就调整一次权值;设置迭代周期epoch。

6.根据权利要求3所述基于全卷积神经网络的图像拼接篡改定位方法,其特征在于,步骤(4)的具体过程如下:(4-1)向前传播阶段:从训练集x中读取任意训练图像数据xk,并将其输入至图像拼接篡改定位网络中,训练集中训练图像对应的真实标签记为Ok;

(4-2)卷积激活过程:依次将输入的训练图像、训练图像经过网络中各个块得到的各种特征图分别与可训练的滤波器进行卷积,并加上偏置:其中, 表示训练图像在l卷积层输出的第j张特征图;M表示l-1卷积层输出特征图的集合; 表示在l-1卷积层输出的第j张特征图; 表示在l卷积层第j张特征图对应的滤波器; 表示在l卷积层第j张特征图对应的偏置;f(x)表示线性修正单元激活函数ReLU,且有:其中,a~U(0,u),0<u<1,U(0,u)为U平均分布,a为一个从均匀分布U(0,u)中取样的随机数;

(4-3)池化过程:采用最大池化模型,取池化域中的最大值作为子采样池化后的特征图,即:Sij=maxi=1,j=1(Fij)+b

其中,Fij为输入特征图矩阵,i、j分别表示该矩阵的行号和列号,子采样池化域为2×2的矩阵,b为偏置,Sij为子采样池化后的特征图;maxi=1,j=1(Fij)表示从输入特征图矩阵Fij的大小为2×2的池化域中取出的最大值;

(4-4)反卷积过程:与上述卷积激活过程一致,代替全连接层;

(4-5)计算n个输入特征图点乘每层对应的权值矩阵,得到训练图像xk对应的输出Yk:Yk=Fn(...(F2(F1(xkW(1))W(2))...)W(n))(i)

其中,Fi表示第i个输入特征图矩阵,W 是第i层对应的权重矩阵,i=1,2,…,n。

7.根据权利要求6所述基于全卷积神经网络的图像拼接篡改定位方法,其特征在于,步骤(5)的具体过程如下:(5-1)反向传播阶段:根据训练图像经过图像拼接篡改定位网络训练后得到的输出Yk与真实标签Ok之间的误差值,计算第k个训练图像的输出误差值Ek,即:Ek=H(Ok,Yk)+λR(w)

其中,λ是反映模型复杂度损失在Ek所占比例的超参数;R(w)反映模型的复杂程度,w是图像拼接篡改定位网络中所有的权重, 符号是l2范数的平方;P为训练集中训练图像的数目;

(5-2)根据输出误差值Ek,判断Ek在一个迭代周期中,是否稳定在0.01±0.005;如是,则预测结果满足精度要求,训练结束;否则返回步骤(3)。

8.根据权利要求1-7中任意一项所述基于全卷积神经网络的图像拼接篡改定位方法,其特征在于,在步骤(6)中,通过下式实现条件随机场对预测结果的后处理:E(x)=∑iψu(xi)+∑i≠jψp(xi,xj)

其中,E(x)为条件随机场能量函数,ψu(xi)是每个像素xi属于某类别的概率,是条件随机场的数据项;ψp(xi,xj)是两个像素间的灰度值差异和空间距离,是条件随机场的平滑项,平滑项能够表示为若干个高斯函数的和;μ(xi,xj)是兼容性参数;w(m)是第m类的权重,K为类别数;k(m)(fi,fj)是第m类对应的高斯函数,fi和fj是像素点i和像素点j对应的特征向量,具体如下:其中,pi和pj分别是两点的位置信息,Ii和Ij分别是两点的颜色信息,θα、θβ和θγ是两点间的相关参数;加号前的部分代表双边滤波,加号后的部分代表空间滤波,v(1)和v(2)是权重参数。