1.一种联邦学习方法,其特征在于,包括:
1)各个客户端对服务器下传的网络模型进行稀疏化训练,在每一次稀疏化迭代训练过程中均对网络模型精度和剪枝率进行判断,若网络模型精度大于精度阈值且剪枝率小于目标剪枝率,则将网络模型中部分趋近于0的权重置为0以进行剪枝,且对于置为0的权重,相应掩码中对应位置也置为0,直至达到稀疏化训练的迭代终止条件,从而得到各个客户端的本地模型和掩码,并上传至服务器;
稀疏化训练时,将模型的损失函数转化为如下具有稀疏度要求的优化问题:(1)
为客户端的网络权重,由得到;为服务器中全局模型的参数;为客户端的掩码;,返回客户端中网络的非零元素数量,为所期望的非零元素数量;
用ADMM求解式(1),先引入的指示函数:(2)
将添加到式(2)中,转化为如下等式约束:(3)
式(3)的增广拉格朗日函数为:
(4)
是拉格朗日乘子,是惩罚参数;令,则式(4)变成:(5)
ADMM多次迭代下式:
(6)
(7)
(8)
用随机梯度下降法求解:
(9)
式(7)的解表示为:
(10)
为上的欧几里得投影;对解析求解,保持前大的参数不变,其余部分置零;用式(8)更新,以完成ADMM的一次迭代;
具体操作时,进行损失函数为的稀疏化训练,每轮训练后、和中动态更新,更新为此次迭代训练后的模型权重;保持中前大的参数不变,其他的置零,进而更新为;更新为;2)服务器对各个客户端上传到本地模型进行聚合,得到全局模型;根据全局模型和各个客户端的掩码,得到全局模型的子网并下送至各个客户端。
2.根据权利要求1所述的联邦学习方法,其特征在于,在进行本地模型聚合时,仅对本地模型中未进行剪枝的部分进行聚合。
3.根据权利要求2所述的联邦学习方法,其特征在于,将各个本地模型中未进行剪枝的部分相应位置取平均值以实现聚合。
4.根据权利要求1所述的联邦学习方法,其特征在于,步骤2)中将全局模型与客户端各自的掩码的对应位置进行相乘得到各个客户端的子网。
5.根据权利要求1~4任一项所述的联邦学习方法,其特征在于,步骤1)中当客户端达到预定的迭代次数后停止训练,对模型中p%的参数进行剪枝,p%为迭代剪枝率。