1.一种通信高效的隐私保护个性化联邦学习方法,其特征在于,该方法包括如下步骤:(1)基于不同客户端对隐私保护需求的不同,设计具有隐私保护的个性化联邦学习网络模型,该模型由隐私客户端、公共客户端和中央服务器组成;
(2)所有客户端通过各自的神经网络学习知识,并结合本地数据集学习到的知识与全局知识实现个性化学习,其中,客户端利用本地数据集对本地神经网络完成训练之后,隐私客户端通过将其神经网络梯度与公共客户端的神经网络梯度分组聚合后再进行梯度压缩,以此降低通信开销并保护梯度信息,隐私客户端将压缩后的梯度上传到中央服务器进行全局聚合;
(3)中央服务器对收到客户端上传的压缩梯度进行解压重构,对重构的梯度再进行全局聚合,并更新全局神经网络,最后将全局神经网络的模型参数分发给每个客户端;
将对聚合后的梯度进行压缩具体方法如下:在隐私客户端i中,假设第j层梯度的维度为,利用测量矩阵对梯度进行压缩,测量矩阵的生成方法如下;
1)基于Chebyshev映射生成长度为的混沌序列,该混沌序列第个元素生成的表达式为:;
其中,q为Chebyshev阶,为混沌序列第n个元素,,初值,选择采样间隔d,并对上述混沌序列进行间隔采样,该序列设为第j层测量矩阵的第一行,的标准差为;
2)对步骤1)中生成的执行次向左循环移位,以生成维度为的,即:;
其中,为常数且满足对进行归一化,即:;
当为常数时,为归一化系数,则,;
3)重复上述两个步骤生成梯度每一层的测量矩阵,最终组成测量矩阵,其中,满足受限等距性质;
隐私客户端i基于执行梯度压缩,压缩后的梯度表示为:;
其中,为感知矩阵,表示经过离散余弦变换的稀疏基矩阵,为稀疏系数向量;
步骤(3)具体方法如下:
中央服务器在接收到所有压缩后的梯度后进行重构,对重构梯度进行全局聚合并更新全局神经网络;
重构目标是根据给定的压缩梯度和感知矩阵求解稀疏系数向量,重构是通过优化如下基于L2范数的最小化问题来实现的:;
;
其中,约束条件表示重构梯度中非零值的数量不超过,的具体估计方法,定义为:;
其中,表示中的元素个数,整个求解过程的迭代次数与稀疏度密切相关,即迭代次数为,符号“”表示向下取整;
在优化过程中,更新为:
;
其中,表示第l次迭代,是一个非线性算子函数,它将中除了绝对值最大的个元素之外的元素都设置为零,定义为:;
其中,表示为对中元素的绝对值进行排序后第个最大值;
经过次迭代后得到最优稀疏系数向量,则重构梯度为;
进行梯度的全局聚合并更新全局神经网络,全局神经网络的更新过程如下:;
其中,是全局神经网络的参数,表示全局模型的学习率,总样本量为,是的样本数量。
2.根据权利要求1所述的一种通信高效的隐私保护个性化联邦学习方法,其特征在于,步骤(1)包括如下内容:设置中央服务器的范围内有个隐私客户端和个公共客户端,隐私客户端从公共组中随机选取个公共客户端组成一个新的组,所有客户端被分成个组,,隐私客户端和公共客户端利用自己的本地数据集训练其神经网络,并在中央服务器的协助下通过共享神经网络梯度进行联邦学习,实现客户端之间的协作。
3.根据权利要求2所述的一种通信高效的隐私保护个性化联邦学习方法,其特征在于,步骤(2)包括如下内容:步骤2.1),客户端i利用其本地数据集对其神经网络进行训练,该神经网络由三个子模型组成,分别是私有模型、共享模型和融合模型,私有模型从本地数据集中提取到特征,共享模型提取到特征;将经过桥接层与进行拼接之后输入融合模型完成特征融合得到融合特征,三个子模型基于知识蒸馏进行相互学习完成本地训练,其中,每个子模型的损失由两部分组成,一个是预测的硬目标和ground-truth之间的交叉熵损失,另一个是子模型之间软目标的Kullback-Leibler散度,设计一个与时间无关的平衡权重对进行缩放,该权重随着高斯过程从0慢慢上升到1,即:;
其中,和分别是的当前迭代和停止rum-up迭代次数,当整个训练过程达到预设的稳定时,的值固定为1,私有模型、共享模型和融合模型的训练损失,,分别定义如下:;
;
;
其中,分别表示私有模型、共享模型和融合模型的硬目标,对应的、、是它们的软目标,其中,为控制软度的蒸馏温度,当时,为softmax函数;
公式中的是私有模型和共享模型的加权集合软目标,将其定义为:;
其中,是集合权衡因子,采用rum-up方法来随时间动态将从0.5调整至1,,其为和的加权集成特征;
根据上述分析,将本地客户端i的总损失模型定义为:;
将共享模型的梯度上传到中央服务器进行全局聚合,共享模型的梯度为:;
其中,表示客户端i中共享模型关于本地数据集中样本b的模型参数,是的样本数量,表示客户端i中共享模型关于本地数据集中样本b的训练损失;
私有模型和融合模型仅在本地更新,具体过程如下:;
;
其中,是私有模型和融合模型的学习率,分别为客户端i中私有模型和融合模型的参数,分别为客户端i中私有模型和融合模型关于本地数据集中样本b的模型参数;
步骤2.2),当所有客户端完成本地训练时,隐私客户端将执行梯度的组聚合,则隐私客户端i的梯度更新为:;
其中,与隐私客户端i同组的公共客户端k的梯度;
步骤2.3),将对上述聚合后的梯度进行压缩。
4.根据权利要求3所述的一种通信高效的隐私保护个性化联邦学习方法,其特征在于,本地数据集采用MNIST或CIFAR10的分类数据集。