欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2022116191234
申请人: 南京邮电大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种计算分层的联邦学习训练方法,其特征在于:联邦学习训练方法包括如下步骤:步骤1:构建一个计算分层的联邦学习系统模型,所述联邦学习系统模型由服务提供商、用户和协调中心三个部分组成,服务提供商位于边缘层,用户位于用户层,协调中心位于云服务器层,在系统模型中,边缘节点协调用户节点之间的协同训练,为用户节点提供计算辅助;

步骤2:构建实现步骤1联邦学习系统模型的原则,在联邦学习系统模型中允许用户在不需要进行本地梯度计算或连续数据传输的情况下参与联邦训练,该原则通过在线方法和离线方法实现;

步骤3:针对联邦学习系统模型中的竞争、用户移动性、新的数据任务不断呈现给联邦学习系统模型和隐私保护的挑战提供解决方案。

2.根据权利要求1所述的一种计算分层的联邦学习训练方法,其特征在于:在所述步骤(1)的联邦学习系统模型中,服务提供商和用户根据其计算能力和数据量分为两层:服务提供商位于边缘层,用户位于用户层,具体的:用户:作为服务的主要受益者,用户节点从边缘层的服务提供商选择性地请求全局模型,用户参与协同训练是通过在线方法和离线方法实现;

服务提供商:在边缘层,每个服务提供商都配备了高性能计算硬件来执行联邦学习系统模型的训练,为用户提供高质量的智慧服务,每个所述服务提供商包含至少一个要执行的训练任务,在加入联邦系统之前,服务提供商向协调中心注册其元数据,然后,协调中心将这些服务提供商按照其训练任务进行聚类形成不同的任务集群,并在任务集群内执行联邦学习系统;

协调中心:协调中心位于联邦学习系统模型的云层,负责记录服务提供商的元数据并响应其他实体的查询。

3.根据权利要求2所述的一种计算分层的联邦学习训练方法,其特征在于:每个服务提供商的元数据包括三种类型的信息:服务提供商的身份、训练任务以及本地存储的任务数据量,元数据用于协调中心对连接的服务提供商进行聚类,并在其中实现联邦学习,个人用户在从服务提供商获得服务之前,需要先从协调中心查询信息,并选择最合适的服务提供商。

4.根据权利要求1所述的一种计算分层的联邦学习训练方法,其特征在于:所述步骤2中的在线方法为将训练任务的计算负载从用户层“迁移”到边缘层或者在边缘侧构建数据增强器。

5.根据权利要求4所述的一种计算分层的联邦学习训练方法,其特征在于:将训练任务的计算负载从用户层“迁移”到边缘层是引入一个可训练的损失函数以增强边缘侧的模型训练,具体流程包括如下步骤:步骤2‑2‑1:服务提供商首先对其具有监督损失和数据增强器的本地数据集进行模型训练;

步骤2‑2‑2:然后服务提供商随机选择连接用户的子集并将训练后的模型分发给子集;

步骤2‑2‑3:用户在本地数据集上评估更新后模型的质量,并将性能分数发送回服务提供商;

步骤2‑2‑4:服务提供商用辅助损失的参数和性能分数训练值函数;

步骤2‑2‑5:用值函数优化辅助损失函数。

6.根据权利要求4所述的一种计算分层的联邦学习训练方法,其特征在于:在边缘侧构建数据增强器具体为:在服务提供商训练目标模型之前,数据增强器对局部数据提供扰动。

具体的步骤如下:

步骤2‑1‑1:服务提供商首先对其具有监督损失和辅助损失的本地数据集进行模型训练;

步骤2‑1‑2:然后服务提供商随机选择连接用户的子集并将训练后的模型分发给子集;

步骤2‑1‑3:用户在本地数据集上评估更新后模型的质量,并将性能分数发送回服务提供商;

步骤2‑1‑4:服务提供商用数据增强器的参数和性能分数训练值函数;

步骤2‑1‑5:用值函数优化数据增强器。

7.根据权利要求4所述的一种计算分层的联邦学习训练方法,其特征在于:所述离线方法利用知识蒸馏方法实现,具体的,在知识蒸馏方法中,所有用户级节点仅在三个时间点与服务提供商通信,第一个时间点是服务提供商在没有用户节点参与的情况下完成了模型的训练即,在边缘完成了本地训练或协作训练,预训练模型将被每个用户下载,之后,用户进行微调以定制预训练模型,在此期间,服务提供商等待与用户的第二次通信,即用户将本地修改的模型上传到服务提供商,在接收到个性化模型后,服务提供商执行知识蒸馏,通过聚合用户的知识来细化目标模型,此过程将在边缘侧执行几轮,直到模型收敛,最后,用户从服务提供商下载目标模型,并可以自由断开与服务提供商的网络连接。

8.根据权利要求4所述的一种计算分层的联邦学习训练方法,其特征在于:所述步骤3具体为:针对竞争的挑战,联邦学习系统模型是设计激励机制促进协同训练并实现共同获益;

针对用户移动性,可以在网络层和应用层解决,从网络层来看,通过扩大网络覆盖范围或在用户移动范围内通过相互转发来确保用户的连接性,从应用层来看,切换到其他服务器的连接并恢复中断的训练;

针对新的数据任务不断呈现给联邦学习系统模型,联邦学习系统模型采用自动化机器学习,通过基于训练任务和训练集的元特征自动制定合适的算法和训练超参数。