1.一种基于联盟链的多中心联邦学习数据共享方法,其特征在于,包括由联盟链网络、星际文件系统网络以及联邦学习单元组成的系统,还包括以下步骤:S1:初始化;将意向组成联盟的所有节点进行资格审查,将审查通过的节点根据共识算法动态分成多个小组,每个小组内选出一个节点作为汇聚节点,小组之间形成联盟链网络;
S2:身份注册和授权;每个节点均需要联盟链网络中的智能合约单元完成身份检验,每个节点能够作为任务发布者上传任务需要和任务信息到联盟链网络;
S3:联合建模准备;任务发布者可作为数据请求方并需要提供统一的联邦学习单元和共享模型,剩余部分或者全部节点可作为数据提供方通过联邦学习单元和共享模型进行本地数据处理和模型测试,数据提供方再将数据处理和模型测试的结果发布到联盟链网络;
S4:联合建模训练;任务发布者通告所有数据提供方开始训练任务,数据提供方在本地数据集训练局部模型,训练完成后,将本地模型参数上传到星际文件系统网络并获取返回值,再将返回值上传到联盟链网络,当上传的数据提供方的数量达到阈值时,汇聚节点给智能合约单元发出聚合任务请求并执行步骤S5;
S5:联合建模组内聚合;汇聚节点将组内其他数据提供方上传的本地模型参数下载到本体,并根据基于信誉值的加权联邦平均算法进行组内聚合任务;
S6:联合建模组间聚合;当所有汇聚节点完成组内聚合任务后,采用轮询机制从汇聚节点中选出一个节点承担组间聚合任务,将所有小组上传的本地模型参数聚合成新模型参数,并更新共享模型;
S7:联合建模结束;在步骤S6完成本轮更新共享模型后,根据历史行为和当前行为评估数据提供方的信誉值,完成数据提供方的信誉值更新;在根据全局配置信息,继续进行下一轮训练任务,执行步骤4、步骤5、步骤6、步骤7直到共享模型收敛;
所述基于信誉值的加权联邦平均算法包括信誉值计算步骤和模型聚合步骤;
所述信誉值计算步骤描述如下:
首先信誉值属性矩阵表示为P,其中x
采用均值方差归一化对信誉值属性集合进行预处理;
其中,x
接着计算各属性的信息熵,计算公式如下:
其中,N为节点总数,
接着,根据信息熵确定各信誉值属性的权重值,计算公式如下:其中,t为属性的个数,E
最后根据属性权重,计算信誉值,计算公式如下:
所述模型聚合步骤描述如下:
首先,小组内采用汇聚节点承担聚合任务;其次,有轮询机制选择一个汇聚节点,汇聚节点完成组间的聚合任务,生成共享模型;最后,本轮任务训练结束,将共享模型参数分发给所述数据提供方更新本地模型,迭代直至收敛。
2.根据权利要求1所述的基于联盟链的多中心联邦学习数据共享方法,其特征在于:所述共识算法包括节点分组步骤和共识通信步骤。
3.根据权利要求2所述的基于联盟链的多中心联邦学习数据共享方法,其特征在于:所述节点分组步骤描述如下:设联盟链网络中有N个节点,选择不同地区的G个节点作为中心节点,将其他节点表示为n先获取联盟链网络中所有节点的物理位置,通过计算欧式距离对节点进行分组,其他节点到中心节点的距离表示为Dist,计算公式如下:其中,o∈[1,N-G],g∈[1,G],n
在C个小组中,依次在每个组内计算某个节点到组内其他节点的欧式距离之和最小,当该节点为中心节点,则迭代结束;否则该节点替代中心节点,继续执行下述计算公式:其中,n
4.根据权利要求3所述的基于联盟链的多中心联邦学习数据共享方法,其特征在于:所述共识通信步骤描述如下:A、区块通告:联盟链网络中的一个汇聚节点将一段时间数据请求打包成区块,封装成通告消息,并通告给其他小组的汇聚节点;
B、组内共识:各个组的汇聚节点收到通告消息后,各个小组在组内进行PBFT共识,并发送确认信息a给汇聚节点,则进入组间共识;
C、组间共识:当汇聚节点收到[G/2]个汇聚节点的确认消息a后,汇聚节点再次发送确认消息b,其他汇聚节点接收到重复确认消息b后,再次向汇聚节点发送确认信息c,并进入区块同步;
D、区块同步:组内和组间的共识过程均完成,由小组的汇聚节点发送执行信息d,通知组内接入节点执行区块写入到本地,待所有汇聚节点发送消息e,完成共识通信。