1.基于贝叶斯优化的联邦学习超参数选择系统,其特征在于:包括:配置策略模块,负责配置联邦模型和贝叶斯超参数选择策略,贝叶斯超参数选择模块,用于联合中心节点和各数据提供方的参与节点共同完成超参数的选择。
2.根据权利要求1所述的基于贝叶斯优化的联邦学习超参数选择系统,其特征在于:所述配置策略模块负责配置贝叶斯优化目标函数、超参数搜索空间、贝叶斯优化算法、超参数迭代次数、联邦模型参数、以及多个数据拥有方的参与节点的地址。
3.根据权利要求1所述的基于贝叶斯优化的联邦学习超参数选择系统,其特征在于:所述贝叶斯超参数选择模块包括部署在中心节点的参数选择模块、联邦训练模块以及联邦预测模块;
所述参数选择模块,负责贝叶斯优化的参数估计,根据已有的参数样本估计并更新参数的高斯分布,选择下一个超参数组合;
所述联邦交叉训练模块,负责基于超参数组合,利用中心节点和各参与节点进行联邦交叉验证训练,得到联邦交叉验证模型;
所述联邦交叉预测模块,负责得到该超参数组合的联邦模型的性能指标。
4.根据权利要求3所述的基于贝叶斯优化的联邦学习超参数选择系统,其特征在于:所述贝叶斯超参数选择模块还包括部署在各参与节点的本地交叉训练模块和本地交叉预测模块;
所述本地交叉训练模块,负责基于接收到的模型列表,对本地样本做交叉验证样本分割,使用不同交叉验证训练集做增量训练,得到本地模型列表;
本地交叉预测模块,负责基于本地交叉验证测试集和联邦模型列表进行预测,得到本地全部样本的预测结果。
5.基于贝叶斯优化的联邦学习超参数选择方法,其特征在于:所述方法使用了如权利要求1‑4中任一项所述的联邦学习超参数选择系统,具体包括以下步骤:多个参与节点准备好本地交叉训练和交叉预测模块,分别启动服务并监听等待中心节点的调度;
中心节点根据业务配置联邦模型和贝叶斯超参数选择策略;
中心节点启用贝叶斯超参数选择模块,多次基于不同超参数组合,调度联邦学习的交叉训练和交叉预测过程,选择性能最优的超参数组合。
6.根据权利要求5所述的基于贝叶斯优化的联邦学习超参数选择方法,其特征在于:联邦交叉训练过程中,联邦训练会多次迭代模型训练过程,任意一次迭代包括以下步骤:中心节点将模型列表下发至参与节点;
参与节点基于本地训练数据同时训练多个本地模型,并将其发送至中心节点;
中心节点接收后更新联邦模型列表;
中心节点继续与下一个参与节点进行交互,直至各参与节点都完成一次训练。
7.根据权利要求5或6所述的基于贝叶斯优化的联邦学习超参数选择方法,其特征在于:联邦交叉预测包括以下步骤:中心节点将联邦模型列表下发至所有的参与节点;
各参与节点基于本地交叉验证测试集进行预测,并将其发送至中心节点;
中心节点接收并聚合所有参与节点的预测结果,计算本轮超参数组合对应联邦模型的性能评估指标。
8.根据权利要求5或6所述的基于贝叶斯优化的联邦学习超参数选择方法,其特征在于:贝叶斯超参数选择模块根据配置策略模块预设的迭代次数,迭代超参数训练过程,每次超参数训练过程均包括参数选择、联邦训练以及联邦预测;
达到预设的迭代次数后,基于多次迭代训练多个超参数组合对应的联邦模型性能值,选择性能最优的超参数组合。