1.一种动态边缘计算环境下的分层联邦学习优化方法,其特征在于,针对每一轮分层协同的分布式模型参数训练与聚合,执行以下步骤:步骤1,通过动态聚类算法优化由终端设备和聚合节点组成的参与协同训练的设备聚合拓扑,保持稳定设备关系的同时适应设备变化;所述终端设备包括智能手机、物联网终端;所述节点包括边缘服务器、网关;
步骤2,基于历史性能数据预测并推荐最优训练频率,实现资源感知的自适应训练调度;
步骤3,设备根据自身资源状况动态调整训练轮次,平衡训练强度与时间效率;
步骤4,建立分层超时容错机制,在保证训练连续性的同时处理异常设备状况;
步骤1包括:
步骤1-1,基于动态聚类算法优化设备聚合拓扑,按预训练精度和通信延迟最小化原则对边缘设备进行聚类划分;
所述动态聚类算法包括以下步骤:计算设备间预训练精度差异与通信延迟;以最小化聚类内通信延迟总和为目标选择中心节点;优先将新设备分配至预训练精度差异优化量最大的聚类;
选择聚合不同设备的公式为:
其中是第h层的第j个聚类,h∈[0,H-1],j∈[1,N],中包含节点,在中的节点的共同的聚合节点为是中心节点;N是指包含的边缘设备数,和分别是第i个设备在第h层的节点表示和第k个设备在第h层的节点表示;H是聚合结构的总层数,是指和的通信距离,acci是指第i个设备的预训练精度,是指第h层的第j个聚类的平均预训练精度,λ是指权重系数;
步骤1-2,在每轮训练结束后、下一轮训练开始前,动态调整聚合结构:当第r轮训练完成且根聚合节点将训练得到的模型参数发送至负责协调训练流程的中心管理单元的控制节点后,控制节点比较第r+1轮与第r轮的设备集合:如果设备无变化,则保持聚合结构Sr不变;否则,统计退出设备集合{Vout}和新加入设备集合{Vin},并基于如下公式生成下一轮聚合结构Sr+1:其中Sr表示第r轮训练的树形结构;
步骤1-3,删除离开设备的聚合结构:对于离开设备Vi,获取设备Vi在聚合结构Sr+1中的最高出现层hmax,如果hmax=0,则直接移除设备Vi在第0层的节点如果hmax≥1,则从第0层至第hmax层,将设备Vi在h层对应节点表示标记为emptyi,并更新相关聚类中心节点;emptyi表示设备Vi删除后产生的空缺标记;
步骤1-4,增添新加入设备的聚合结构:对于新加入设备Vq,遍历第0层所有聚类计算设备Vq加入各聚类后对聚类平均预训练精度的优化增益deltaj,并选择增益最大的聚类进行加入,如果存在聚类为空,p∈[1,N],则的平均预训练精度设为0或负值;
步骤1-5,补充空缺聚合节点的聚合结构调整方法:
自底向上逐层检测空缺聚合节点emptyi,如果聚类的中心节点为空缺状态,则基于动态聚类算法重新选择中心设备Vk,并同步更新各层关联节点。
2.根据权利要求1所述的方法,其特征在于,步骤1-3中,所述删除离开设备的聚合结构的方法包括分层节点删除机制和空缺标记机制,公式为:其中,表示第0层第j个聚类集合,为设备Vi在第0层的训练节点,\表示集合差运算,表示状态转换,←表示将右侧值赋值给左侧值。
3.根据权利要求2所述的方法,其特征在于,步骤1-4中,所述增添新加入设备的聚合结构的方法包括:通过预训练精度差异计算、最优聚类选择,以及空聚类特殊处理来实现设备的最优聚类分配;
所述预训练精度差异计算的公式为:
其中,deltaj为预训练精度差异,为设备Vi加入前的聚类的平均预训练精度,为设备Vi加入后的聚类的平均预训练精度,accallavg为全局平均预训练精度;
所述最优聚类选择的计算公式为:
其中j*为使得的预训练精度差异deltaj最大的聚类索引;
所述空聚类特殊处理的计算公式为:
如果则设定:
其中α为预设的负值常数。
4.根据权利要求3所述的方法,其特征在于,步骤1-5包括:通过对中心节点进行重选以及对离开设备进行空缺标记,实现空缺节点的动态补充;
采用如下公式对中心节点进行重选:
其中为新加入的设备Vq作为被新选中的中心节点在第h层的节点表示;
采用如下公式对离开设备进行空缺标记:
当h
其中,是指在第h+1层处的第j个聚类;和分别是第i个设备在第h+1层的节点表示和第k个设备在第h+1层的节点表示。
5.根据权利要求4所述的方法,其特征在于,步骤2包括:
步骤2-1,聚合节点收集各子节点的模型参数,同时统计各子节点在本次聚合中消耗的时间模型下发传输时间模型上传传输时间本次实际聚合频率fi,h,计算各子节点在本次聚合中的平均每次训练或聚合的计算时间和聚合节点在第m次聚合所消耗的实际计算时间随后,采用指数平滑的方法预测出各个节点在第m+1次聚合中的平均计算时间模型下发传输时间和模型上传传输时间并预测各子节点在第m+1次聚合中的总传输时间其中,采用如下公式计算各子节点在本次聚合中的平均每次训练或聚合的计算时间采用如下公式计算聚合节点在第m次聚合所消耗的实际计算时间
采用如下公式预测各子节点在第m+1次聚合中的总传输时间
步骤2-2,通过实际计算时间预测第m+1次聚合的计算时间如果本次聚合是第1次聚合或由于聚合结构调整导致当前被预测的节点是新出现的聚合节点,此时为空值None,将实际计算时间作为预测下一次的计算时间如果并非空值None,且小于等于则仍然使用上次预测的计算时间作为下次的预测计算时间如果大于则将设置为与的较小值;当大于时,的计算公式为:其中ρg为缓慢增长比率;
步骤2-3,根据预计聚合计算时间减去预测子节点的传输时间得到推荐子节点的计算时间随后再将除以预测子节点的平均计算时间并向下取整,得到推荐子节点的聚合频率rfi,h;
步骤2-4,基于剩余时间的频率分配策略,在动态聚合频率调整中,每个子节点首先执行一次本地更新,记录本次更新的耗时间并累计总计算时间和更新次数fi,h;随后,通过指数平滑的方法预测下次更新的时间进而预测更新后的总时间子节点根据当前更新次数与推荐聚合频率rfi,h的关系决定是否继续更新;
其中,更新后的总时间的计算公式为:
在所述子节点根据当前更新次数与推荐聚合频率rfi,h的关系决定是否继续更新中,所述子节点执行以下判断步骤:当检测到当前实际更新次数fi,h小于推荐聚合频率rfi,h时,进一步验证预测总时间是否满足第一条件:如果满足第一条件,则控制子节点继续执行模型更新操作;
当检测到当前实际更新次数fi,h达到或超过推荐聚合频率rfi,h时,验证预测总时间是否满足第二条件:仅当第二条件成立时,才允许子节点执行额外的模型更新操作;
所述子节点根据当前更新次数与推荐聚合频率rfi,h的关系决定是否继续更新的算法公式为:其中,Continue是一个布尔变量,用于判断子节点是否继续执行下一次模型更新;ρa为适当超时比率,ρa>1.0,ρp为预防超时比率,ρp<1.0。
6.根据权利要求5所述的方法,其特征在于,步骤2-1和步骤2-4中,所述指数平滑的方法的公式为:tm=βtm+(1-β)tm-1,
其中tm-1为预测的第m-1次的时间,tm为预测的第m次更新的时间,β为指数平滑系数。
7.根据权利要求6所述的方法,其特征在于,步骤2-4中,所述基于剩余时间的频率分配策略的公式为:其中,为预计聚合计算时间,为预测子节点的传输时间,为推荐子节点的计算时间,为预测子节点的平均计算时间,rfi,h为推荐子节点的聚合频率。
8.根据权利要求7所述的方法,其特征在于,步骤3包括;
步骤3-1,初始构建聚合结构后,设置所有子节点的推荐聚合频率rfi,h=1,推荐计算时间按照步骤2-3的方法为子节点推荐聚合频率rfi,h和计算时间在子节点的后续更新过程中,按照步骤2-3的方法自适应地调整自身的聚合频率fi,h;
步骤3-2,对于第r轮训练,按照步骤1将聚合结构从Sr调整为Sr+1后,对于调整过程中被删除的父子关系,将聚合节点对子节点的推荐聚合频率rfi,h和计算时间也删除;
步骤3-3,对于调整过程中没有被改变的父子关系,仍然保留父节点和子节点相应的推荐聚合频率rfi,h和计算时间并依据推荐聚合频率rfi,h和计算时间进行下一轮的训练;对于调整过程中新增的父子关系,设置所有子节点的推荐聚合频率rfi,h=1,推荐计算时间在子节点没有收到聚合节点推荐的聚合频率rfi,h和计算时间前,仅更新一次后就上传数据。
9.根据权利要求8所述的方法,其特征在于,步骤4包括:
当节点在第m+1次聚合等待的过程中,使用节点的计算预测时间作为标准,设置一个超时放弃比率ρt,ρt≥1.0,将超时放弃阈值设置为当聚合节点等待超过的时间仍然未收到故障子节点的参数数据,则放弃继续等待,只使用已收到的各个子节点训练好的模型参数数据进行聚合和后续操作;
其中,所述超时放弃阈值的计算公式为: