欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2023100579530
申请人: 郑州大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于知识蒸馏的联邦学习方法,其特征在于,包括:配置服务端和客户端,其中,客户端用于训练本地模型,服务端维护有K个不同的用于存储最新的本地模型的缓存槽;在每一轮训练中,只有处于活跃状态的客户端需要将本地模型上传给服务端;

服务端和客户端按以下方法实现联邦学习:

步骤1,在第t‑1轮训练的最后一步,服务端整合所有当前轮处于活跃状态客户端上传的本地模型,即 得到表示全局模型的ACA模型;同时,整合缓存槽中所有的本地模型,即 得到表示全局知识的OCA模型;

步骤2,在第t轮训练中,只有处于活跃状态的客户端参与训练,用c1,…,cm表示当前轮处于活跃状态的客户端ID,服务端向c1,…,cm广播最新的ACA模型和OCA模型;

步骤3,接收到ACA模型和OCA模型后,每个处于活跃状态的客户端分别将ACA模型和OCA模型视为初始本地模型和教师模型,分别用wk和 表示,其中,初始本地模型在知识蒸馏过程中充当学生模型;

步骤4,采用无数据知识蒸馏技术,将教师模型的知识传递给本地模型;在无数据知识蒸馏中,训练一个用于生成伪样本以实现知识蒸馏的生成器;同时,利用每个客户端的本地数据对本地模型进行训练,以将来自教师模型的全局知识Global和来自本地数据的本地知识Local融合并传递给本地模型;

步骤5,在Global‑Local知识融合后,所有处于活跃状态的客户端都将本地模型上传给服务端;

步骤6,服务端接收到客户端上传的本地模型后,根据客户端的ID更新缓存槽中的本地模型,其中,当前轮不处于活跃状态的客户端对应的缓存槽的本地模型保持不变;

更新完所有处于活跃状态的客户端对应的缓存槽的本地模型后,服务端重新整合本地模型,得到新的ACA模型和新的OCA模型;

返回步骤1进行下一轮训练。

2.根据权利要求1所述的基于知识蒸馏的联邦学习方法,其特征在于,步骤4中,用于生成伪样本以实现知识蒸馏的生成器的损失函数按下述方法训练:定义g(·)表示生成器的输出, 和 分别表示教师模型的特征向量输出和概率向量输出,输入噪声向量z~N(0,1,生成器输出伪样本 输入伪样本 教师模型输出概率向量设计One‑Hot损失函数:

伪样本 被期望以较高的概率被教师模型预测为某个特定类别,因此,通过来计算伪标签,One‑Hot损失函数定义为:其中,CE是交叉熵,如果LOH被最小化,则生成器生成的样本被教师模型以很高的概率分类到某个特定的类中,对于真实样本也是如此;

设计信息熵损失函数:

为了使生成器生成的数据能够覆盖所有类,采用信息熵来衡量生成数据的分布的均匀性;即,给定一个概率向量p=(p1,…,pd),则信息熵表示成 于是信息熵损失函数被定义为:

当LIE靠近最小值时,生成器生成的数据倾向于每个类有着相同数量;因此,最小化信息熵损失函数会得到一个相对平衡的数据集;

设计Activation损失函数:

真实样本的特征向量倾向于获得较高的激活值,因此,Activation损失函数被定义为:其中,‖·‖1表示l1范数;

综合以上三个损失函数,训练的生成器的总损失函数为:LG=LIE+λ1LOH+λ2LA

其中,λ1和λ2是平衡三个损失函数的超参数。

3.根据权利要求2所述的基于知识蒸馏的联邦学习方法,其特征在于,客户端采用Global‑Local知识融合技术训练本地模型,按下述方法训练损失函数:定义h·)表示本地模型的概率向量输出;

设计KL损失函数:

为了让每个客户端使用生成器生成的数据将全局知识从教师模型传递给本地模型,同时,本地模型从本地数据中学习本地知识,则KL损失函数定义如下:其中,KL表示Kullback‑Leibler divergence散度;最小化LKL使得本地模型向教师模型靠拢,即学习全局知识;

设计CE损失函数:

用 表示第k个客户端的本地数据,则CE损失函数定义为:其中,CE表示交叉熵,最小化LCE使得本地模型学习来自本地数据的本地知识;

综合以上两个损失函数,Global‑Local知识融合的总损失函数为:L=LCE+γLKL

其中,γ是一个超参数,用于平衡两个损失函数;最小化L使得Global‑Local知识融合到本地模型中。

4.一种基于知识蒸馏的联邦学习系统,其特征在于,包括:服务端和客户端,其中,客户端用于训练本地模型,服务端维护有K个不同的用于存储最新的本地模型的缓存槽;在每一轮训练中,只有处于活跃状态的客户端需要将本地模型上传给服务端;

服务端与客户端通信,用以实现权利要求1‑3任一项所述的基于知识蒸馏的联邦学习方法。