欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2024118878620
申请人: 苏州科技大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.基于知识蒸馏驱动的自适应去中心化小样本联邦学习方法,所述自适应去中心化小样本联邦学习方法包括至少三个客户端,其特征在于,每一个客户端均具有基于知识偏移的去中心化联邦学习策略、图神经网络指导的知识蒸馏过程和自适应频率调整算法,其中:基于知识偏移的去中心化联邦学习策略,通过衡量和调整不同节点间的知识偏移度,以实现最小化每个节点的本地损失和知识偏移度损失的加权和的优化目标,并根据优化目标来优化各个节点本地模型的更新过程,通过节点间的局部通信将各个节点完成更新的本地模型聚合为全局模型;其中:所述知识偏移度是节点和其邻居节点集合的知识偏移度,定义为:(1)

其中,表示Kullback-Leibler散度,是温度参数,用于调整softmax输出的平滑度,和分别表示节点和其邻居节点的特征表示;

图神经网络指导的知识蒸馏过程,利用图神经网络构建节点间的邻居关系图,通过GNN模型来提炼节点间的关系特征,使用提炼出的关系特征进行知识蒸馏,以指导本地模型的训练过程;其中:所述GNN模型包括消息传递机制和节点聚合机制,所述消息传递机制用于从邻居节点中收集信息;所述节点聚合机制用于将节点的消息和自身特征进行聚合,更新节点的状态;

自适应频率调整算法,根据模型的偏移度和通信成本动态调整模型更新的频率,在保证模型一致性的前提下,最小化通信和计算开销;其中:所述通信成本动态调整模型包含频率调整函数,用于确定节点在每次迭代中是否需要进行模型更新;在通信成本动态调整模型更新频率的过程中,引入增量模型更新策略,规定节点在每次模型更新时,只传输其模型参数相对于上次更新的变化量;所述自适应频率调整算法,包括如下步骤:S11、定义模型偏移度为节点的本地模型与全局模型之间的差异;模型偏移度表示为:(11)

其中,表示节点的邻居节点集合,表示欧氏距离,模型偏移度越大,说明节点的本地模型与其邻居节点的模型差异越大,需要更频繁地进行模型更新以保证一致性;

S12、定义通信成本为节点在当前网络条件下进行一次模型同步所需的开销;通信成本表示为:(12)

其中, 表示节点和其邻居节点之间的通信延迟,表示节点和其邻居节点之间的带宽消耗,是权重参数,用于平衡延迟和带宽的影响;通信成本越高,说明在当前网络条件下进行模型同步的开销越大,需要减少同步频率以节约资源;

为了通信成本动态调整模型更新的频率,引入了一个频率调整函数,用于确定节点在每次迭代中是否需要进行模型更新;频率调整函数表示为:(13)

其中,和分别表示最小和最大更新频率,和分别表示模型偏移度和通信成本的最大值;

通过这种方式,节点的模型更新频率将根据模型偏移度和通信成本的变化动态调整,从而在保证模型一致性的同时,最小化通信和计算开销;

在每次迭代中,节点首先计算其模型偏移度和通信成本,然后利用频率调整函数确定是否进行模型更新:如果大于某个阈值,则节点进行模型更新,否则跳过本次更新。

2.根据权利要求1所述的基于知识蒸馏驱动的自适应去中心化小样本联邦学习方法,其特征在于,所述优化目标表示为:(2)

其中,表示节点在本地数据集上的损失,是一个权重参数,用于平衡本地损失和知识偏移度损失。

3.根据权利要求1所述的基于知识蒸馏驱动的自适应去中心化小样本联邦学习方法,其特征在于,所述更新过程,包括如下步骤:S31、节点利用本地数据集和当前模型参数,计算本地损失,并通过梯度下降法更新模型参数:(3)

其中,是学习率;

S32、计算节点与其邻居节点的知识偏移度,并根据偏移度调整模型参数;通过最小化知识偏移度损失,我们可以得到以下更新公式:(4)

其中,是调整步长,是知识偏移度损失对模型参数的梯度;

S33、将本地损失和知识偏移度损失的梯度结合,进行综合模型参数更新:(5)。

4.根据权利要求1所述的基于知识蒸馏驱动的自适应去中心化小样本联邦学习方法,其特征在于,所述本地模型聚合是每个节点在完成本地模型更新后,将其本地模型参数发送给邻居节点,邻居节点根据接收到的本地模型参数进行加权平均,更新自身模型参数来加以聚合,聚合公式为:(6)

其中,表示节点在轮的模型参数,表示邻居节点在第轮的模型参数。

5.根据权利要求1所述的基于知识蒸馏驱动的自适应去中心化小样本联邦学习方法,其特征在于,所述消息传递机制的表达式为:(7)

其中,表示节点在第层的消息表示,是消息函数,是节点和节点之间的边特征,对于节点,它的特征表示为,邻居节点的特征表示为,其中,表示所有与节点直接相连的节点集合;

所述节点聚合机制的表达式为:

(8)

其中, 是聚合函数,聚合方法为加权平均。

6.根据权利要求5所述的基于知识蒸馏驱动的自适应去中心化小样本联邦学习方法,其特征在于,所述GNN模型的前向传播过程如下:(9)

其中,是激活函数,是第层的权重矩阵,分别是节点i和j在第l层的特征。

7.根据权利要求1所述的基于知识蒸馏驱动的自适应去中心化小样本联邦学习方法,其特征在于,所述知识蒸馏的蒸馏损失函数为:(10)

其中,表示KL散度,是温度参数,用于调整softmax输出的平滑度,是节点的模型输出。

8.根据权利要求1所述的基于知识蒸馏驱动的自适应去中心化小样本联邦学习方法,其特征在于,所述增量模型更新策略具体为节点 在每次模型更新时,只需传输其模型参数相对于上次更新的变化量:(14)

其中,和分别表示节点在第次和第次迭代的模型参数。