欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2021110159048
申请人: 西安理工大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-04-06
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种面向图像数据的卷积神经网络差分隐私训练方法,其特征在于,具体按照以下步骤实施:步骤1、给定图像数据集D={(X1,y1),...,(Xj,yj),...,(Xm,ym)|j∈(1,m)},其中,数据集D分为W个类,Xm表示数据记录,ym表示数据真实值,即数据Xm属于哪个类;图像数据看作像素构成的矩阵,图像特征隐藏在像素矩阵中,通过构建卷积神经网络对特征进行处理,通过图像特征对图像进行分类,创建卷积神经网络模型,卷积神经网络模型包含输入层、卷积层、池化层和全连接层,随机初始化卷积神经网络模型的参数θ;

所述步骤1具体按照以下步骤实施:

步骤1.1、给定图像数据集D={(X1,y1),...,(Xj,yj),...,(Xm,ym)|j∈(1,m)},创建卷积神经网络模型CNN,包含输入层、两个卷积层、两个最大池化层和一个全连接层,卷积层需要定义的参数如下:卷积核大小为q×q,卷积核个数M,卷积核尺寸A、填充P以及步长S,池化层需要定义池化尺寸k,池化方式为最大池化,随机初始化卷积神经网络模型的参数θ;

其中,数据集分为W个类,Xm表示数据记录,ym表示数据真实值,即数据Xm属于哪个类;

步骤2、从图像数据集D中随机取样,选取n个样本数据,将样本数据输入至卷积神经网络模型中,对样本数据进行卷积操作得到特征图,由池化操作得到降维处理后的特征,对特征添加服从拉普拉斯分布的噪声,得到经过差分隐私保护的特征;

所述步骤2具体按照以下步骤实施:

步骤2.1、设置迭代次数t=1,2,...,T,从图像数据集D中进行随机取样,选取nt个样本作为当前迭代的训练样本集Dt,其中nt代表第t次迭代时的数据集Dt的样本数,θt代表第t次迭代时的模型参数,εt为第t次迭代时的隐私预算;

步骤2.2、将第t次迭代时的训练样本集Dt的样本输入至卷积神经网络模型中,对输入的数据进行卷积操作得到特征图,再池化操作,对特征图进行向下采样,特征数量会大量减少,得到降维后的特征;

步骤2.3、对步骤2.2中卷积池化之后的特征,添加服从拉普拉斯分布的噪声,得到经过差分隐私保护的四维张量;

步骤3、将步骤2中得到的具有差分隐私保护的特征,在卷积神经网络模型中进行训练,进行前向传播获取模型预测值,计算损失函数,并对参数求偏导,从而得出梯度值,再对梯度值进行裁剪;

所述步骤3具体按照以下步骤实施:

步骤3.1、将步骤2.3得到的结果继续在卷积神经网络模型中进行前向传播,得到n个模型预测值 代表训练样本集Dt中每个样本属于第W个类的概率;

步骤3.2、根据每个样本的模型预测值 以及样本的真实值ym计算损失函数;

步骤3.3、通过每个样本计算出的损失函数对第t次迭代的模型参数θt求偏导,得到当前迭代的模型梯度gt;

步骤3.4、计算第t次迭代的梯度裁剪阈值Ct;

步骤3.5、将第t次迭代的模型梯度gt的L2范数||gt||2与裁剪阈值Ct进行比较;

步骤3.6、如果模型梯度gt的L2范数||gt|2|小于等于裁剪阈值Ct,即||gt||2≤Ct,则让模型梯度gt保持不变;

步骤3.7、如果模型梯度gt的L2范数||gt||2大于裁剪阈值Ct,即||gt||2>Ct,则令模型梯度gt等于裁剪阈值Ct,即gt=Ct;

步骤3.8、根据步骤3.6和步骤3.7中梯度裁剪方法,得到最终裁剪后的梯度步骤4,计算隐私预算,为裁剪后的梯度加入高斯噪声,并更新参数,直至完成t次迭代;

得到最优模型参数,保存训练好的具有最优模型参数的差分隐私卷积神经网络模型;

所述步骤4具体按照以下步骤实施:

步骤4.1、计算当前迭代的隐私预算εt;

步骤4.2、对裁剪后的梯度 添加高斯噪声,得到含噪声的梯度

其中, 表示概率密度符合以0为均值、 为方差的高斯分布的噪声,σ为高斯噪声的噪声规模,为预先设定的超参数, 表示梯度裁剪阈值,I为指示函数;

步骤4.3、对模型参数进行更新:

其中,θt+1表示第t+1次迭代的模型参数,ηt为第t次迭代的学习率;

步骤4.4、判断t是否达到最大迭代次数T,如果是,则θt+1为最优模型参数进行输出,否则返回步骤1.2,进行下一次迭代;

步骤5,将需要保护的数据输入到步骤4中所训练好的差分隐私卷积神经网络模型中,得到差分隐私保护后的数据。

2.根据权利要求1所述的一种面向图像数据的卷积神经网络差分隐私训练方法,其特征在于,所述步骤3.4中,裁剪阈值Ct的计算方式为:其中,nt表示第t次迭代时的训练样本集Dt的数量,Xi表示训练样本集Dt的一条数据,对训练样本集Dt中所有训练数据的模型梯度gt求和,Ct‑1表示第t‑1次迭代的裁剪阈值。

3.根据权利要求1所述的一种面向图像数据的卷积神经网络差分隐私训练方法,其特征在于,所述步骤4.1中,第t次迭代时的隐私预算εt的计算方式为:其中,ε为总的隐私预算,ε1为第一次迭代时的隐私预算,T为最大迭代次数。