欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2024115299429
申请人: 河海大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于知识蒸馏和原型学习的联邦动态图学习优化方法,其特征在于:由服务器结合各个客户端本地随时间步变化的本地数据节点图,初始化时间步t=0,执行如下步骤A至步骤F,针对由服务器初始并下发至各客户端的特征提取模型,执行联邦学习训练,获得训练后特征提取模型,本地数据节点图包括各节点、各节点分别关于预设分类下的真实类别、以及存在联系的两两节点之间的边;

步骤A.各客户端分别应用其对应时间步t的本地数据节点图,针对特征提取模型进行训练,获得客户端对应时间步t的训练后参数组,并上传服务器;服务器针对各客户端对应时间步t的训练后参数组进行聚合,获得对应时间步t的全局参数组下发至各个客户端,各客户端分别将对应时间步t的全局参数组构成其对应时间步t+1的第1次迭代的参数组,针对t值进行加1更新,并进入步骤B;

步骤B.各客户端分别针对其对应时间步t的本地数据节点图,筛选获得客户端对应时间步t的局部分析节点集合,然后初始化迭代次数l=1,并进入步骤C;

步骤C.各客户端分别基于其对应时间步t的本地数据节点图,应用其对应时间步t下第l次迭代参数组下的特征提取模型,结合服务器的处理与返回,获得对应时间步t下第l次迭代下各类别全局原型,然后进入步骤D;

步骤D.各客户端分别应用其对应时间步t下第l次迭代参数组下的特征提取模型,以及对应时间步t-1的全局参数组下的特征提取模型,针对其对应时间步t的局部分析节点集合,计算客户端对应时间步t下第l次迭代的蒸馏损失;

各客户端分别应用其对应时间步t下第l次迭代参数组下的特征提取模型,针对其对应时间步t的本地数据节点图的节点集合,计算客户端对应时间步t下第l次迭代的分类损失;

各客户端分别计算其对应时间步t下第l次迭代的正则项损失,然后进入步骤E;

步骤E.各客户端分别综合其对应时间步t下第l次迭代的蒸馏损失、分类损失、正则项损失之和,构成客户端对应时间步t下第l次迭代的综合损失,判断自第l次迭代向历史迭代方向连续预设b次迭代步中各组相邻迭代之间的综合损失之差是否均小于预设损失阈值,是则客户端完成时间步t下针对特征提取模型的训练,客户端对应时间步t下第l次迭代的参数组即为客户端对应时间步t的训练后参数组,并获得训练后参数组下特征提取模型的准确率,上传服务器,然后进入步骤F;否则根据客户端对应时间步t下第l次迭代的综合损失,针对客户端对应时间步t下第l次迭代的参数组进行更新,构成客户端对应时间步t下第l+1次迭代的参数组,并针对l值进行加1更新,返回步骤C;

步骤F.服务器获得各客户端对应时间步t训练后参数组的特征提取模型准确率的平均准确率,判断平均准确率是否大于预设模型准确率阈值或者全局训练次数是否达到预设全局最大训练次数,是则即完成针对特征提取模型的联邦学习训练,各客户端分别以其对应时间步t的训练后参数组下的特征提取模型进行应用;否则服务器分别针对各客户端对应时间步t的训练后参数组进行更新,并聚合获得对应时间步t的全局参数组下发至各个客户端,各客户端分别将所接收对应时间步t的全局参数组构成其对应时间步t+1的第1次迭代的参数组,针对t值进行加1更新,返回步骤B。

2.根据权利要求1所述一种基于知识蒸馏和原型学习的联邦动态图学习优化方法,其特征在于:所述步骤B中,分别针对各个客户端,执行如下步骤:步骤B1.遍历客户端对应时间步t的本地数据节点图的节点集合中各个节点,判断节点是否属于时间步t之前任意历史时间步的本地数据节点图,是则标记该节点的活跃度为0,否则标记该节点的活跃度为1,更新节点集合K表示客户端的数量,表示第k个客户端对应时间步t的本地数据节点图的节点集合;

步骤B2.筛选获得节点集合中不属于任意活跃度为1节点的L跳邻域节点集合的节点集合表示第k个客户端对应时间步t的本地数据节点图中不属于任意活跃度为1节点的L跳邻域节点集合的节点集合,L表示特征提取模型的网络层数;

步骤B3.按如下公式:

获得节点集合在第k个客户端对应时间步t-1的本地数据节点图下的损失值以及节点集合中各节点分别在第k个客户端对应时间步t-1的本地数据节点图下的损失值其中,表示,表示第k个客户端对应时间步t-1的本地数据节点图中边的邻接矩阵,I表示单位矩阵,表示的标准化邻接矩阵,表示第k个客户端对应时间步t-1的训练后参数组,表示以为输入,基于参数组的特征提取模型所提取特征向量,获得中各节点的预测分类的集合;表示中各节点分别对应的真实分类的集合,l()表示损失函数,表示节点集合中第i个节点,表示以为输入,基于参数组的特征提取模型所提取特征向量,获得中第i个节点的预测分类,表示节点集合中第i个节点对应的真实分类;

步骤B4.筛选获得节点集合中符合的各节点,构成候选节点集合并进一步按如下公式:

获得候选节点集合中各节点分别在第k个客户端对应时间步t的本地数据节点图下的损失值其中,表示候选节点集合中第j个节点,表示第k个客户端对应时间步t的本地数据节点图中边的邻接矩阵,表示的标准化邻接矩阵,表示以为输入,基于参数组的特征提取模型所提取特征向量,获得候选节点集合中第j个节点的预测分类,表示候选节点集合中第j个节点对应的真实分类;

步骤B5.计算候选节点集合中各节点的与其对应的差值,作为该各节点的受影响度值,并按影响度值由大至小,针对候选节点集合中各节点进行排序,构成候选节点集合所对应节点排序;

步骤B6.选取候选节点集合所对应节点排序中前个节点,构成第k个客户端对应时间步t的局部分析节点集合其中,表示候选节点集合中节点的数量,a表示预设比例,0<a<1,表示向上取整。

3.根据权利要求1所述一种基于知识蒸馏和原型学习的联邦动态图学习优化方法,其特征在于:所述步骤C包括如下步骤:步骤C1.各客户端分别应用其对应时间步t下第l次迭代参数组下的特征提取模型,针对其对应时间步t的本地数据节点图中各节点进行前向传播,获得各节点的特征向量,并按各真实类别对各节点进行划分,获得各真实类别中各节点特征向量的平均特征向量,作为客户端对应时间步t下第l次迭代的各类别本地原型上传至服务器;表示第k个客户端对应时间步t下第l次迭代的参数组,表示第k个客户端对应时间步t下第l次迭代的类别c的本地原型;

步骤C2.服务器应用各客户端分别所上传对应时间步t下第l次迭代的各类别本地原型以本地原型的类别为输入,本地原型为输出,针对服务器中的神经网络模型H继续训练,获得时间步t下第l次迭代下的训练后模型H(t,l);

步骤C3.服务器分别针对各类别,应用时间步t下第l次迭代下的训练后模型H(t,l)进行处理,获得对应时间步t下第l次迭代下各类别全局原型并分别下发至各个客户端;表示对应时间步t下第l次迭代的类别c的全局原型。

4.根据权利要求3所述一种基于知识蒸馏和原型学习的联邦动态图学习优化方法,其特征在于:所述步骤D中,分别针对各个客户端,执行如下步骤:步骤D1.客户端应用其对应时间步t下第l次迭代参数组下的特征提取模型,分别针对其对应时间步t的局部分析节点集合中各个节点m进行处理,获得各节点分别对应时间步t下第l次迭代的本地特征向量以及应用对应时间步t-1的全局参数组下的特征提取模型,分别针对对应时间步t的局部分析节点集合中各个节点m进行处理,获得各节点分别对应时间步t-1下的全局特征向量步骤D2.客户端按如下公式:

获得客户端对应时间步t下第l次迭代的蒸馏损失其中,表示第k个客户端对应时间步t下第l次迭代的蒸馏损失,mc表示局部分析节点集合中属于类别c的节点;表示第k个客户端应用其对应时间步t下第l次迭代参数组下的特征提取模型,针对其对应时间步t的局部分析节点集合中属于类别c的节点进行处理,获得该节点分别对应时间步t下第l次迭代的本地特征向量;表示的预测分类,C表示预设各类别的集合,表示mc节点的真实类别,γ表示预设蒸馏系数;

步骤D3.客户端应用其对应时间步t下第l次迭代参数组下的特征提取模型,针对其对应时间步t的本地数据节点图的节点集合中各个节点进行处理,计算客户端对应时间步t下第l次迭代的分类损失步骤D4.客户端按如下公式:

计算客户端对应时间步t下第l次迭代的正则项损失其中,表示第k个客户端对应时间步t下第l次迭代的正则项损失,表示第k个客户端对应时间步t的本地数据节点图中各节点所属的不同类别集合,表示集合中类别的数量,表示与之间的余弦相似度。

5.根据权利要求1所述一种基于知识蒸馏和原型学习的联邦动态图学习优化方法,其特征在于:所述步骤E中,各客户端分别按如下公式:获得其对应时间步t下第l次迭代的蒸馏损失分类损失正则项损失之和根据客户端对应时间步t下第l次迭代的综合损失,按如下公式:针对客户端对应时间步t下第l次迭代的参数组进行更新,构成客户端对应时间步t下第l+1次迭代的参数组η表示模型超参数,表示求导。

6.根据权利要求1所述一种基于知识蒸馏和原型学习的联邦动态图学习优化方法,其特征在于:所述步骤F中,服务器按如下步骤,分别针对各客户端对应时间步t的训练后参数组进行更新;

步骤F1.服务器分别针对各个客户端,按如下公式:

获得各个客户端分别对应时间步t下本地原型与全局原型之间的余弦相似度

步骤F2.服务器分别针对各个客户端,按如下公式,针对各个进行余弦相似度归一化

获得各个客户端分别对应时间步t下余弦相似度归一化结果,构成各个客户端分别对应时间步t下的个性化权重

步骤F3.服务器分别针对各个客户端,按如下公式:

针对客户端上传对应时间步t的训练后参数组进行更新。