欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2024118439479
申请人: 南京邮电大学
专利类型:发明专利
专利状态:已下证
专利领域: 电通信技术
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种面向6G网络的联邦学习高效训练优化方法,包括如下步骤:

步骤S1:构造面向6G网络的联邦学习训练框架,用于客户端数据异质性导致通信成本巨大,模型收敛速度慢的场景;

步骤S2:引入自定义的本地训练策略,通过在本地客户端的目标函数中增加约束项来提高收敛速度,以减少通信总轮数;

步骤S3:设置部分客户端参与规则,选择计算效率较高的客户端同时上传其训练结果,从而降低每个轮次的通信成本;

步骤S4:设计权值计算方法,在非独立同分布设置中,通过分析客户端数据量、梯度相似度和数据多样性三个关键因素,构建数据质量评估模型并调整聚合权值,以提升模型精度。

2.根据权利要求1所述的面向6G网络的联邦学习高效训练优化方法,其特征在于:上述步骤S1中,联邦学习是不同的客户端在初始阶段具有相同的神经网络模型,不同客户端构成的分布式设备用它们的私有数据迭代训练本地模型固定的次数,完整的一轮通信包括以下阶段:步骤S11:下行链路通信阶段:联邦学习过程从下行链路通信阶段开始,该阶段将全局模型参数ωt从参数服务器下载到第t轮的K个客户端当中;

步骤S12:本地训练阶段:每个客户端根据收集到的数据计算一个更新的模型;考虑不同客户端的数据异质性,每个客户端会根据自身的数据集和模型参数计算损失函数函数的梯度,并求解最优的本地迭代次数,用较少的迭代次数实现更高的准确率;

步骤S13:上行链路通信阶段:首先根据上一轮次的模型训练时间和数据集大小评估每个客户端的计算效率,选择计算效率最高n(t)的个客户端的模型参数进行上传到参数服务器;

这一阶段直接决定了每轮通信开销的大小;经过多个通信轮次后,参与者的数量对这一阶段的总通信开销有着至关重要的影响;下行链路和上行链路通信阶段构成完整的通信回合,以上行链路通信轮为结束;

步骤S14:聚合阶段:每个设备将最新的模型参数传输到参数服务器;在传输的消息到达参数服务器后,聚合阶段开始;服务器需要等待所有参与者发送到参数服务器的传输数据,计算三种不同的指标并构建数据质量评估模型,将数据质量作为权重加权聚合不同客户端的模型参数,最后将更新的输出分发回设备。

3.根据权利要求2所述的面向6G网络的联邦学习高效训练优化方法,其特征在于:上述步骤S2中,通过允许跨客户在本地执行不同的迭代周期来实现定制的本地训练策略;引入了一个约束项来有效地缩小局部函数之间的梯度多样性;客户端k不是只最小化局部损失函数Fk(·),而是用其局部损失函数近似最小化以下目标方程:其中,gk(ωk;ωt)表示局部损失函数加入正则项后构建的目标方程,问题从最小化局部损失函数转化为最小化目标方程gk(ωk;ωt),Fk(ωk)表示客户端k的损失函数,ε作为约束项的惩罚因子,ωk表示客户端k在第t轮训练的本地模型参数,ωt表示第t轮训练聚合后的全局模型参数。

4.根据权利要求3所述的面向6G网络的联邦学习高效训练优化方法,其特征在于:上述步骤S2中,对于目标方程,变量θ来表示不同的本地迭代次数,表示在第t次联邦训练中在客户端k上迭代次;假设是经过次局部训练后客户端k的本地模型参数,其中这种定制化的本地训练策略用较少的本地迭代次数实现了更高的准确率。

5.根据权利要求4所述的面向6G网络的联邦学习高效训练优化方法,其特征在于:上述步骤S3中,所述部分客户端参与规则的具体过程为:在每一轮通信中,都会选择一个包含n(t)个客户端的子集,记为St;客户端上的局部模型用于在每个选定客户端上用聚合阶段后的平均全局模型损失函数优化局部目标函数;其中Dk表示客户端k的数据量,D表示总数据量;在上行通信阶段,客户端上传本地模型参数,同时将本地数据集的大小以及上一轮通信中本地模型的训练时间传输到参数服务器。

6.根据权利要求5所述的面向6G网络的联邦学习高效训练优化方法,其特征在于:上述步骤S3中,利用上一轮次的本地训练时间ζk和本地数据集大小|Dk|,计算客户端k的局部计算效率ek为:基于本地客户端上传的信息,概率值pk用于表示客户端被选择的概率,计算效率更高的客户端往往具有更大的pk,参数服务器计算每个客户端的概率值pk如下所示:在每一轮中,所选客户端的子集是不同的,这使得全局模型考虑尽可能多的客户端信息,全局损失函数的表达式转换为如下所示:

7.根据权利要求6所述的面向6G网络的联邦学习高效训练优化方法,其特征在于:上述步骤S4中,首先对数据的质量进行评估,然后使用基于KL散度的模型判断数据相关性,并据此调整联邦学习中模型的聚合权值;具体指标为数据量归一化值梯度相似度归一化值γk、数据多样性的归一化值σk;

将客户端k的数据量定义为客户端数据与总体数据之比的归一化值

在联邦学习的场景中,客户端k的数据对全局模型训练的贡献也可以通过梯度相似度进行描述。梯度相似度通过比较本地模型的梯度和全局模型梯度来衡量客户端k的数据质量,从优化的角度来看,联邦学习的主要目标通过最小化一个或多个损失函数来获得最优的全局模型参数,拟合过程所采用的梯度在一定程度上反映了优化的方向,因此,如果客户端k的数据产生的训练梯度与假定的最优梯度方向越接近,那么认为其与最优模型越相似,数据质量越高,所以在非独立同分布设置下,我们考虑利用梯度相似度来缓解客户端漂移现象,通过聚合多轮次的余弦相似度并归一化来构建客户端k的梯度相似度γk:其中,表示第t轮客户端本地模型梯度向量,ut表示第t全局模型梯度向量,iter表示总的梯度迭代轮次。

当联邦学习中提供的数据充分可靠时,我们发现数据分布的多样性能够在一定程度上反映数据的质量,更高的数据质量对应更丰富的数据多样性,在联邦学习的场景中,每个数据样本都包含多个特征维度,格拉姆矩阵G可以计算数据样本的特征表示向量xi∈Xk在欧式空间内构建的平行多面体体积,从之前的研究得知,当所构建的平行多面体的体积越大时,数据的特征分布越发散,对应更高的数据质量,因此我们使用格拉姆行列式衡量客户端本地数据的多样性σk,并对数据多样性进行归一化,如下式所示:

8.根据权利要求7所述的面向6G网络的联邦学习高效训练优化方法,其特征在于:上述步骤S4中,通过KL散度构建一个包含数据量、梯度相似度和数据多样性的数据质量评估模型;γ和σ分别为数据量、梯度相似度和数据多样性的权重,并用ργ和ρσ来衡量这三个指标的重要性;

给出数据质量的评估模型假设概率分布W是目标分布,表示当三个指标γ和σ无法区分时的一组权重。

9.根据权利要求8所述的面向6G网络的联邦学习高效训练优化方法,其特征在于:上述步骤S4中,客户端k的数据质量模型Ck如下式所示:通过客户端数据质量评估模型Ck,服务器从客户端收集所有本地训练的模型,并将数据质量评估模型的归一化作为权重聚合它们以更新全局模型;t轮全局模型通过下式获得:其中,Ck表示客户端k的数据质量评估模型,Ci表示不同客户端i的数据质量评估模型,i为客户端索引,表示客户端k在第t轮训练中的本地模型参数。