欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2023106168787
申请人: 河南大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于扩散模型和权重自适应知识蒸馏的联邦学习算法,其特征在于,包括:客户端在本地训练扩散模型并在服务器端生成符合原始图像分布的数据,通过生成的图像扩充客户端本地数据,以实现数据增强;

通过在知识蒸馏时动态的给各个参与方分配权重,并在服务器端完成知识的迁移。

2.根据权利要求1所述的一种基于扩散模型和权重自适应知识蒸馏的联邦学习算法,其特征在于,所述客户端在本地训练扩散模型并在服务器端生成符合原始图像分布的数据,通过生成的图像扩充客户端本地数据,以实现数据增强包括:通过最小化下列损失完成扩散模型的训练:

其中N表示客户端总数量;w为局部模型参数; 为第i个客户端的本地数据集;D为所有客户端上的数据集; 为交叉熵损失函数; 为每个客户端的目标损失:其中 T为训练总步数,αt为线性插值;zt为第t步扩散的噪声;x0为输入的真实图片; 为zt和x0的期望值;zθ为模型预测的噪声;

训练完成后,在服务器端按照如下公式进行反复迭代,即可完成图片的生成:其中xt‑1为第t‑1步时的图片,xt为第t步时的图片,σt为推导过程中的常数,z为第t步时的方差;

通过上述过程最终生成共享数据集。

3.根据权利要求2所述的一种基于扩散模型和权重自适应知识蒸馏的联邦学习算法,其特征在于,所述通过在知识蒸馏时动态的给各个参与方分配权重,并在服务器端完成知识的迁移包括:服务器随机选择一些客户端,把此客户端集合记为St,并向所述客户端发送全局模型ωt;

客户端接收全局模型并作为本地模型进行本地训练;

客户端将训练后的本地模型上传至服务器;

服务器通过如下公式对各个客户端的本地模型进行聚合生成新一轮的全局模型:其中 为第n个客户端的本地数据集; 为第n个客户端第t轮更新后的本地模型;

服务器利用共享数据集动态的给各个局部模型分配蒸馏权重,并利用此权重对全局模型进行知识蒸馏。

4.根据权利要求3所述的一种基于扩散模型和权重自适应知识蒸馏的联邦学习算法,其特征在于,客户端接收全局模型并作为本地模型进行本地训练的优化目标为:其中,Li(w)为客户端Pi的经验损失,表示为:其中w为客户端Pi的模型参数,(x,y)为客户端Pi本地数据上的样本,li(w;(x,y))代表客户端Pi对于样本(x,y)的损失。

5.根据权利要求1所述的一种基于扩散模型和权重自适应知识蒸馏的联邦学习算法,其特征在于,所述服务器利用共享数据集动态的给各个局部模型分配蒸馏权重,并利用此权重对全局模型进行知识蒸馏包括:首先通过公式(7)计算本地模型 在共享数据集上的预测值与实际标签之间的交叉熵损失c

其中,y代表数据类别c的真实标签;wm表示客户端Pm的本地模型参数; 为客户端Pm在共享数据集上类别为c数据的logits输出;τ为蒸馏温度;

并通过公式(8)为每个参与方分配蒸馏权重γm:其中M为每轮训练时挑选的客户端数量;

知识蒸馏的目标为最小化以下损失:

其中, 为知识蒸馏的整体损失;γm为客户端Pm的蒸馏权重; 为全局模型在数据集上类别为c数据的logits输出;

通过公式(10)计算全局模型在共享数据集上的交叉熵损失其中, 为全局模型对于类别为c数据的logits输出;

最终的优化目标为:

通过最小化公式(11)获得蒸馏后的全局模型。