1.一种无线网络中异步联邦学习方法,其特征在于,包括以下步骤:构建基于联邦学习的无线网络系统架构,所述系统架构包括N个用户和一个基站,每个用户以不同的移动路径在给定的目标区域内移动,并不断收集数据;所有用户收集到的数据集用于协同训练一个机器学习模型;
在每轮训练开始时,基站按照每个用户本地模型更新的重要度对用户进行分组,并选择每组通信链路状态最好的用户作为“header”,将全局模型发送给每组的“header”;
每组的“header”将全局模型发送给给定用户,用户基于全局模型以及本地数据集进行本地模型的训练;各“header”在规定时间内收集来自组内用户的训练完成信号,并按预设规则对训练完成的组内用户进行调度,接收被调度用户上传的本地模型进行聚合,生成组模型;
各“header”将生成的组模型以同步的方式上传到基站,基站再对各个组模型进行聚合,生成全局模型;
以找到使全局模型的损失函数F(ω)最小的参数向量为训练目标,直至得到最终的机器学习模型。
2.根据权利要求1所述的无线网络中异步联邦学习方法,其特征在于,使用集合表示用户集合,设定每个用户 都有一个本地数据集Di,数据集大小为|Di|;设 表示无线网络中所有用户收集的整个数据集,大小记为|D|,且每个用户的数据集都不相同,即
3.根据权利要求2所述的无线网络中异步联邦学习方法,其特征在于,第t轮训练中,被调度用户的本地模型进行聚合时,组模型更新表示为:j
其中, 表示来自第j个组G 的组模型更新; 表示被调度用户集合; 表示t‑1轮t‑1训练中生成的用户i的本地模型;ω 表示第t‑1轮训练中生成的全局模型;
当组模型在基站处聚合时,全局模型更新表示为:
其中,H(j)表示聚合的权重系数,与模型更新重要度j有关; 表示用户集群的重要度集合,将用户按本地模型更新的重要度分为J个组。
4.根据权利要求1所述的无线网络中异步联邦学习方法,其特征在于,当用户接收到“header”发送的全局模型之后,开始本地训练之前,执行初始化过程:对接收到的全局模型与之前训练所得的局部模型进行模型加权求和,作为当前训练的初始模型,表示为:其中, 表示在t轮之前未能传递给基站的用户i的最新局部模型参数,表示与模型年龄相关的权重系数; 表示用户i第t轮训练时接收到的全局模型;
在规定时间内完成本地训练的用户从基站接收更新后的全局模型,继续执行下一次初始化过程,并使用在线梯度下降算法更新各自的局部模型。
5.根据权利要求1所述的无线网络中异步联邦学习方法,其特征在于,在用户进行本地训练时,各组“header”在时间阈值内接受来自组内用户的训练完成信号,在时间阈值内完成训练的用户集合用Γ表示,在集合中选择一组用户上传其本地模型,被选择的用户集合表示为 在规定时间内没有完成本地训练的用户不参与当前的全局聚合过程,将训练好的模型参数保存在本地,等待下一轮的更新。
6.根据权利要求1所述的无线网络中异步联邦学习方法,其特征在于,各“header”在规定时间内收集到来自组内用户的训练完成信号时,采用基于优先级的用户调度策略,对组内完成训练的所有用户的优先级进行排序后,按降序对用户进行调度;优先级表示为信道状态信息g、模型年龄η以及本地模型更新重要性j的权衡,表示为:c=λ1·η+λ2·g+λ3·j
其中,λ1,λ2,λ3表示权重系数,η表示模型更新年龄,g表示信道状态信息,j表示用户本地模型更新的重要度。
7.根据权利要求6所述的无线网络中异步联邦学习方法,其特征在于,以用户i的本地更新上传的通信时延 评估信道状态,表示为:Ri=γiBlog2(1+SNRi)
其中,Smodel表示模型更新的大小,Ri表示用户i到基站的传输速率;γiB表示分配给用户i的带宽,SNRi表示在基站处接收到用户i的信噪比,定义为 其中,Pi表示用户i到基站的传输功率,N0表示噪声方差, 表示用户i到基站之间的路径损耗。
8.根据权利要求6所述的无线网络中异步联邦学习方法,其特征在于,用户i在第t轮训练中的模型年龄指数 表示为:其中, 表示用户i在第t轮全局迭代之前被调度的最新一轮,εi(r)表示用户i在第r轮中的传输调度指标,r=1表示用户i在第r轮中被调度传输其本地模型,r=0表示未被调度。
9.根据权利要求6所述的无线网络中异步联邦学习方法,其特征在于,将用户i的局部模型更新的重要度j表示为本地模型更新的2范数 用户的本地模型更新 为:t
其中, 表示学习率, 表示用户i处计算的梯度;ω表示第t轮训练中生成的全局模型; 表示第t+1轮训练中生成的用户i的本地模型。
10.根据权利要求1所述的无线网络中异步联邦学习方法,其特征在于,全局模型的损失函数的形式是一组局部模型的损失函数的和;
定义用户i的本地模型的损失函数为:
其中,ωi(ηi)表示用户i的本地模型,它是一个与模型年龄有关的参数,ηi表示用户i的模型年龄;Di表示用户i的本地数据集;k表示来自数据集Di的数据样本;用户i提交给数据点(xk,yk)后,会显示一些关于损失函数Fi的信息作为反馈,并且在此之前这些信息是未知的;
全局模型的损失函数表示为:
*
以找到使全局模型的损失函数F(ω)最小的最佳参数向量ω优化目标,表示为:其中, 表示被调度用户集合;D表示无线网络中所有用户收集的整个数据集。