1.基于蒸馏的半监督联邦学习的个性化模型的训练方法,其特征是,包括步骤如下:步骤1、每个客户端分别使用自己的无标签本地数据集训练一个对抗生成网络,并将对抗生成网络及其采样噪声的种子上传至中心服务器;中心服务器先利用每个客户端的对抗生成网络及其采样噪声的种子生成每个客户端的无标签合成样本,再从所有客户端的无标签合成样本中选择一部分作为无标签共享数据集;所有客户端从中心服务器上下载无标签共享数据集;
步骤2、令当前轮次t=1,中心服务器从所有客户端中选择一部分客户端作为参与方进行协同训练;在协同训练过程中,每个参与方分别先利用自己的有标签本地数据集和无标签本地数据集对自己的本地神经网络模型进行半监督训练,得到本轮训练的本地神经网络模型;再利用本轮训练的本地神经网络模型对无标签共享数据集进行预测,得到每个参与方在第t轮次的模型预测矩阵;
步骤3、中心服务器先计算第t轮次的聚合模型预测矩阵,再从第t轮次的聚合模型预测矩阵中挑选概率最大的类别标签作为伪标签,后将伪标签传回给所有的客户端;
式中, 为第t轮次的聚合模型预测矩阵, 为第t‑1轮次的聚合模型预测矩阵, 为参与方k′在第t轮次的模型预测矩阵, 为第t‑1轮次的聚合模型预测矩阵与参与方k′在第t轮次的模型预测矩阵的JS散度值,K′为参与方的数量,ε为设定的近似值;
步骤4、令当前轮次t加1,中心服务器从所有客户端中选择一部分客户端作为参与方进行协同训练;在协同训练过程中,每个参与方先将伪标签作为无标签共享数据集的每个样本的标签,得到有标签共享数据集;再利用有标签共享数据集、自己的有标签本地数据集和无标签本地数据集对自己的本地神经网络模型进行半监督训练,得到本轮训练的本地神经网络模型;后利用本轮训练的本地神经网络模型对无标签共享数据集进行预测,得到每个参与方在第t轮次的模型预测矩阵;
步骤5、判断当前轮次t是否达到设定的最大轮次:如果是,则停止训练;否则,返回步骤
3。
2.根据权利要求1所述的基于蒸馏的半监督联邦学习的个性化模型的训练方法,其特征是,参与方在第t轮次的模型预测矩阵的每一行为该参与方在第t轮次的无标签共享数据集的每一个样本的所有类别标签的概率分布。
3.根据权利要求2所述的基于蒸馏的半监督联邦学习的个性化模型的训练方法,其特征是,每个参与方的模型预测矩阵是一个Np×D的矩阵,Np为无标签共享数据集的样本数量,D为类别标签数量。