1.一种基于差分隐私的分布式深度学习优化的隐私保护方法,其特征是应用于服务器端与参与者端构成的分布式网络中,且所述参与者端包含有若干个恶意参与者的N个本地参与者U={u1,u2,...,ui,...,uN},其中,ui表示第i个本地参与者,i∈[1,N];所述隐私保护方法包括以下步骤:步骤S1、初始化阶段:
设迭代的总轮数为Q,当前迭代的轮数为q,初始化q=1;
定义第q轮训练中本地参与者从服务器下载的全局参数为初始化第q轮训练中服务器的全局参数
设置本地参与者用SGD算法训练的批量大小为|L|,将第i个本地参与者ui的本地数据划分成n个子数据集{Di1,Di2,...,Dij,...,Din},其中,Dij表示第i个本地参与者ui的第j个子数据集;
本地参与者ui的第j个子数据集Dij中含有|L|个训练样本{tij1,tij2,...,tijl,...,tij|L|},tijl表示第i个本地参与者ui的第j个子数集的第l个训练样本;第l个训练样本tijl有d+1个属性,将前d个输入属性矩阵记为[xijl],将第d+1个结果属性记为yijl,则tijl=([xijl],yijl);
第i个本地参与者ui与其他参与者共同训练S个参数{w1,w2,...,ws,...,wS},ws表示第s个参数;将第i个本地参与者ui完成第q轮训练后得到的所有参数记为其中, 表示第i个本地参与者ui完成第q轮训练后得到的第s个参数;
定义本地参与者ui在第q轮训练中在本地数据集上进行迭代的总次数为P;
当前迭代次数为p;
步骤S2、参与者本地训练参数上传阶段:
步骤S2.1、在第q轮训练中,第i个本地参与者ui从所述服务器上下载全局参数 作q为第q轮训练中本地参与者ui的参数Wi;并初始化p=1;
步骤S2.2、在第q轮训练中,第i个本地参与者ui在本地数据集上进行第p次迭代时,从n个子数据集中随机第p次抽取一个子数据集 进行训练;则利用式(1)得到在第q轮训练中第p次迭代时逻辑回归的损失函数表示为qp
式(1)中,Wi 表示第i个本地参与者ui在第q轮训练中在本地进行的第p次迭代获得的参T数,[xijl]表子数据集 中的第l个样本的前d个输入属性矩阵[xijl]的转置;
步骤S2.3、利用式(2)对所述损失函数 变形,得到变形后的损失函数qp
式(2)中,gm()表示参数Wi 的第m个多项式函数;fm()表示变形后的损失函数的第m个多项式项;
qp qp T qp qp
步骤S2.4、令参数Wi 的第1个多项式函数g1(tijl,Wi )=[xijl] Wi ,令参数Wi 的第2个qp T qp多项式函数g2(tijl,Wi )=yijl[xijl]Wi ,令变形后的损失函数 的第1个多项式项f1(α)=log(1+exp(α)),令变形后的损失函数 的第2个多项式项为f2(α)=α;
qp
α表示参数Wi 的多项式函数;从而利用式(3)得到损失函数的多项式形式步骤S2.5、利用式(4)得到损失函数 的泰勒展开式形式式(4)中,zm表示第m个实数;k表示多项式的阶数, 表示函数 的第m个多项式函数中,自变量为第m个实数zm时的k阶导数值;
步骤S2.6、截掉所述泰勒展开式 中所有多项式阶数k大于2的项,从而保留k=0,1,2的项;
步骤S2.7、令zm=0,利用式(5)得到最终用于在第j个子数据集 上训练的多项式目标函数步骤S2.8、利用高斯分布的噪声对式(5)中的多项式系数进行加噪,从而得到加噪后的多项式目标函数步骤S2.9、p+1赋值给p后,判断p>P是否成立,若成立,则表示第i个参与者ui在本地数据q′集上完成P次迭代后,获得第q轮训练的参数Wi ;否则,返回步骤2.2;
q′ q′ q″
步骤S2.10、计算参数Wi 的平均值 并将参数Wi 中大于 的S′个参数[Wi ]上传给服务器;
步骤S3、服务器接收参数进行筛选阶段:
步骤S3.1、服务器设定一个本地参与者上传参数的上界C,即在第q轮训练中,当有C个本地参与者上传自己的参数后,服务器就拒绝再接收其他参与者上传的参数;
步骤S3.2、服务器上存有一个验证样本数为R的验证数据集DV={v1,v2,...,vr,...,vR}q″用来验证第i个本地参与者ui上传的参数[Wi ]的效用,其中,vr表示验证数据集DV中的第r个验证样本;将第r个验证样本中的结果属性记为yr;
用全局参数 作为本地参与者未上传的S‑S′个参数,利用式(6)计算第i个本地参与q″者ui在第q轮训练中上传的参数[Wi ]的效用分数式(6)中, 表示使用验证数据集DV上的第r个验证样本vr来验证第i个本地参与者ui在q″第q轮训练中上传的参数[Wi ]时,获得的预测值;
步骤S3.3、对第q轮训练中C个效用分数进行排序;
步骤S3.4、对效用分数排在前θ位的θ个本地参与者的参数求平均值步骤S3.5、将平均值 作为第q+1轮训练中的全局参数,即步骤S3.6、将q+1赋值给q,并判断q>Q是否成立,若成立,则表示第i个参与者ui在本地数Q′据集上获得训练好的参数Wi ;否则返回步骤2顺序执行。