1.个性化联邦学习的训练效率与个性化效果量化评估方法,其特征在于,包括以下步骤:S1、创建一个Non‑IID的跨域数据集,作为评测数据集;
S2、选择合适的模型,作为个性化联邦学习的初始全局模型;
S3、进行联邦学习的全局神经网络训练,聚合出一个收敛的全局神经网络模型;
S4、各个客户端利用本地的数据集对下发的全局模型进行优化,收敛并形成个性化的本地神经网络模型;
S5、进行全局模型训练效率和个性化效果指标设计。
2.根据权利要求1所述的个性化联邦学习的训练效率与个性化效果量化评估方法,其特征在于,所述S1中,创建一个Non‑IID的跨域数据集,作为评测数据集,具体步骤包括:采用跨域数据集:Office‑Home数据集,作为评测数据集,对于该数据集,使用原始测试数据集的一半作为公共数据集,其余的作为最终测试数据集,使用Dirichlet分布来模拟各方之间的异构数据分区,假设有k个客户端,根据pk~DirN(β)进行采样,并将标签m的比例为pk,j的样本分配客户端j,作为本地数据集Dj,其中Dir(.)代表狄利克雷分布,参数β=0.5。
3.根据权利要求2所述的个性化联邦学习的训练效率与个性化效果量化评估方法,其特征在于,所述S2中,选择合适的模型,作为个性化联邦学习的初始全局模型,具体步骤包括:使用ResNet18作为全局模型,模型由1个卷积层和8个残差块以及1个全连接层组成。
4.根据权利要求3所述的个性化联邦学习的训练效率与个性化效果量化评估方法,其特征在于,所述S3中,进行联邦学习的全局神经网络训练,聚合出一个收敛的全局神经网络模型,具体步骤包括:步骤4‑1,服务器随机挑选异质客户端,并将全局模型参数进行广播;
步骤4‑2,客户端根据全局模型参数,利用本地测试数据进行训练,将所得的本地模型参数传回服务器;
步骤4‑3,服务器聚合这些参数得到下一轮初始参数,重复步骤4‑1,4‑2,4‑3直至全局模型收敛。
5.根据权利要求4所述的个性化联邦学习的训练效率与个性化效果量化评估方法,其特征在于,步骤4‑1,服务器随机挑选一批客户端,并将全局模型参数进行广播,具体步骤包括:步骤5‑1,假设所有客户端达到模型优化拟合状态需要的整体通信次数为T,对于其中的第t轮模型联合训练,t=1,2,…,T;
步骤5‑2,确定客户端总数为k,客户端设备异质,如手机、平板、监控摄像头等,被选中的客户端个数为n,第k个客户端被选中的概率为pk;
步骤5‑3,服务器首先根据概率pk随机选出一批客户端,它们的集合为St;
t
步骤5‑4,服务器将当前的参数w发送给被选中的客户端。
6.根据权利要求5所述的个性化联邦学习的训练效率与个性化效果量化评估方法,其特征在于,客户端根据全局模型参数,利用本地测试数据进行训练,将所得的本地模型参数传回服务器,具体步骤包括:t
客户端n收到全局模型信息w ,并利用本地数据集进行训练,得到本地模型 并将本地模型参数传递给服务器。
7.根据权利要求6所述的个性化联邦学习的训练效率与个性化效果量化评估方法,其特征在于,每个客户端将得到的不精确解传递回服务器,服务器聚合这些参数得到下一轮初始参数,重复步骤4‑1,4‑2,4‑3直至全局模型收敛,其具体步骤包括:步骤7‑1,服务器在第t个通信轮次中接收到第k个客户端所提交的本地模型信息步骤7‑2,服务器通过 对得到的所有的本地模型参数进行加权平均,聚合为全局模型;
步骤7‑3,重复步骤4‑1、4‑2、4‑3,直至全局模型收敛。
8.根据权利要求7所述的个性化联邦学习的训练效率与个性化效果量化评估方法,其特征在于,所述S4中,各个客户端利用本地的数据集对下发的全局模型进行优化,收敛并形成个性化的本地神经网络模型,具体步骤包括:步骤8‑1,在第i轮前向计算+反向传播过程的第b批中,每个客户端k求解步骤6‑2中的最优个性化问题以获得其个性化模型;
步骤8‑2,客户端k利用梯度下降的公式进行本地更新,具体公式为其中η是学习率, 是客户端n数据批次为b时本地模型 的梯度。
9.根据权利要求8所述的个性化联邦学习的训练效率与个性化效果量化评估方法,其特征在于,所述S5中,进行全局模型训练效率和个性化效果指标设计,具体步骤包括:步骤9‑1,我们将训练效率Sglobal作为全局模型训练效率指标,具体定义为集中式训练时的全局准确率 与训练周期T的加权值即:F1Center是初始全局模型ResNet18使用初始最终测试数据集进行训练时的F1分数是进行全局训练时,客户端n其中,
P为测试的精确率,可定义为:
R为召回率,可定义为:
TP即True Positive,真阳性,指模型预测为正的正样本;
FP,FN为计算错误的结果数,其中FP即False Positive,假阳性,指被模型预测为正的负样本;FN即False Negative,假阴性,指模型预测为负的正样本;
TCenter是联邦全局训练时所需收敛周期;
μ1+μ2=1,默认都取 可根据实际情况进行修改;
根据常规的定义,假设优化算法的目标是 其中,W是参数空间,f(ω)是目标函数;记算法在迭代第T步输出的模型参数是ωT,最优的模型参数为如果两者在参数空间的距离或者对于的目标函数值有以下上界:* 2 *
E||ωT‑ω||≤ε(T)or Ef(ωT)‑f(ω)≤ε(T)并且ε(T)随T→∞收敛到0,那么称这个算法是收敛的,此时称logε(T)关于T的阶数为算法的收敛速率;
步骤9‑2,我们将训练效果Eindivi作为个性化效果指标,具体可定义为个性化F1分数相比全局F1分数的提升,即:其中, 为个性化训练阶段时,使用本地测试集训练更新后的本地模型所得到的F1分数。