1.一种面向物联网通信隐私保护联邦学习方法,其特征在于,应用于由服务器与多个客户端构成的物联网环境,包括以下步骤:S1: 物联网环境中的各客户端内包含公共代理数据集,公共测试数据集,各客户端自主设计或在预设模型中选择的本地模型架构,服务器设置总的通信轮数,设置后续进行熵值排序发生并列情况时的阈值,top-的值,每个客户端设置差分隐私相关参数与模型训练相关参数;
S2: 每轮通信时,中央服务器从客户端集合中任意选择个客户端进行联邦学习训练;
S3: 被选中的客户端使用差分隐私随机梯度下降DP-SGD算法进行训练,得到第轮的本地模型,模型参数为,客户端在公共代理数据集上对每个样本进行推理,得到软标签矩阵,保存在客户端本地,在公共测试数据集上进行推理并计算准确率,客户端基于软标签矩阵,逐行计算其熵,其中是单个样本的软标签,将计算出的熵进行归一化,得到熵向量;基于软标签矩阵,逐样本软标签计算top1与top2的概率差作为细分排序依据,定义边际量,其中;,最后得到维边际向量,客户端将元信息上传至中央服务器;
S4: 中央服务器跨客户端逐样本选择top-,对于公共代理数据集中的每个样本,收集在各个客户端上传的元信息,执行字典序排序,选出每个样本的top-个客户端,中央服务器统计每个客户端在哪些样本中被选中为top-,并且发送相应的公共代理数据集索引给以请求该索引对应的软标签;
S5: 客户端上传S4中央服务器所需要的软标签及其索引和S3中计算出的准确率,中央服务器对同一个样本的不同客户端进行平均加权得到在第轮聚合后的全局软标签,并且发送给本轮参与训练的客户端;
S6: 客户端使用公共代理数据集作为输入,以接收到的作为标签,执行知识蒸馏训练,知识蒸馏训练的损失函数采用均方误差或 Kullback-Leibler 散度,最后得到本轮的本地模型参数;
S7: 中央服务器控制总训练轮数,或设置多个客户端对公共测试集准确率达到阈值作为终止条件,阈值视训练任务而定,若未达到终止条件,继续下一轮联邦训练;否则完成模型协同训练过程。
2.根据权利要求1所述的面向物联网通信隐私保护联邦学习方法,其特征在于,在所述S4中,中央服务器跨客户端逐样本选择top-,对于公共代理数据集中的每个样本,收集在各个客户端上传的元信息,执行字典序排序,排序主关键字设置成升序;第二关键字设置成边际值降序,当时,判定熵值并列,此时排序由第二关键字决定,最后,选出每个样本的top-个客户端。
3.根据权利要求1所述的面向物联网通信隐私保护联邦学习方法,其特征在于,在所述S7中,训练在满足通信轮次达到, 或多个客户端模型在公共测试数据集上的准确率不低于阈值任一条件时终止,其中阈值依据任务而定。
4.根据权利要求1所述的面向物联网通信隐私保护联邦学习方法,其特征在于,在所述S3中,还包括加权聚合,加权聚合的权重取各客户端在公共测试数据集上的准确率,该权重在每一轮次通信时更新。
5.根据权利要求1所述的面向物联网通信隐私保护联邦学习方法,其特征在于,在所述S3客户端上传阶段元信息阶段,服务器端忽略上传延迟超过预设阈值的部分客户端,把掉队的客户端将熵向量设为最大、margin向量和准确率设为最小,以跳过服务器top-L客户端的筛选,这些掉队的客户端在随后的交互中不上传软标签和索引,这些掉队的客户端若在下一轮中被选中,停止本地DP-SGD训练,直接上传前一轮的元信息,直接忽略前一轮,进行下一轮联邦学习与通信,若在上传软标签数据阶段上传延迟超过预设阈值,需等待或忽略超时客户端。
6.根据权利要求1所述的面向物联网通信隐私保护联邦学习方法,其特征在于,在所述S5中,中央服务器接受中各个客户端的上传的软标签和上传的准确率,对同一个样本的不同客户端进行平均加权:;
得到在第轮聚合后的全局软标签。
7.一种联邦学习系统,其特征在于,包括服务器与多个客户端,应用权利要求1至6任一项所述方法的步骤,所述系统包括:a) 客户端模块:在私有数据集中使用差分隐私随机梯度下降DP-SGD算法更新本地模型,对公共代理数据集的样本输出与类别相关的logits向量,是类别数,使用温度系数的softmax 输出概率向量 ,即单个样本的软标签,计算并上传元信息;用于接收服务器下发的全局软标签并执行知识蒸馏更新本地模型参数;
b) 服务器模块:基于对每个样本进行跨端的字典序排序并选择前top-个客户端以请求该样本的软标签;用于按公共测试集准确率作为权重对所接收的软标签进行加权聚合以获得全局软标签并下发。
8.根据权利要求7所述的一种联邦学习系统,其特征在于,在S1中,客户端模块在本地以DP-SGD方案在私有数据上进行本地训练时,各个客户端分别设置差分隐私相关参数,包括:隐私预算和;客户端内样本采样率;逐样本梯度裁剪阈值;噪声尺度 。
9.一种计算机可读存储介质,其特征在于,其上存储有计算机程序,所述程序被处理器执行时,实现权利要求1至6任一项所述的方法。