1.一种基于深度强化学习的多任务联邦边缘学习激励方法,其特征在于,包括以下步骤:步骤1:通过将联邦边缘学习网络映射成劳动力市场,建立联邦边缘学习框架,构建边缘服务器与边缘设备的交互过程;
步骤2:建立边缘设备与边缘服务器的斯塔克尔伯格博弈模型以最大化边缘设备与边缘服务器的收益;
步骤3:分析纳什均衡的存在,并在此基础上以多智能体深度强化学习方式求解该斯塔克尔伯格博弈模型的最大化问题,以获得最优的边缘设备任务最优训练比和边缘服务器定价策略。
2.根据权利要求1所述的基于深度强化学习的多任务联邦边缘学习激励方法,其特征在于:步骤1中,所述联邦边缘学习框架中有I个边缘设备和J个边缘服务器;在开始联邦学习流程之前,边缘服务器 会发布一个总支付为qj>0的训练任务;边缘设备通过改变本地训练数据与本地数据总大小的比值 去调整训练数据集的数量来处理来自边缘服务器j的任务;当比值 时,代表边缘服务器j的任务不被边缘设备i处理;
边缘服务器j的目标是选取合适的支付qj以达到尽可能高的训练精度,其效用函数为:uj(qj,βj)=f(βj)‑g(qj);
其中 f(βj)为与所有边缘设备训练比值有关的精度收益函数,g(qj)为与总支付qj有关的支付函数。
为有效地激励边缘设备参与本地训练,总报酬qj按数据集量的比例分配给参与训练的边缘设备,边缘设备i的效用定义为其分配的报酬与完成联邦学习任务的总成本之差,其公式为:其中 是边缘服务器j分配给边缘设备i的支付,cij是
边缘设备i参加边缘服务器j本地训练的各类成本总和。
3.根据权利要求2所述的基于深度强化学习的多任务联邦边缘学习激励方法,其特征在于:步骤2中,边缘设备与边缘服务器的斯塔克尔伯格博弈模型,在第一阶段博弈中,边缘服务器是获得最优总支付qj以最大化其效用的领导者,其公式化为:其中, 表示边缘服务器j的最大支付;
在第二阶段博弈中,给定支付qj下,边缘设备作为追随者选择最优训练比 以实现最大效用,其公式化为:s.t.βi∈[0,1]。
4.根据权利要求3所述的基于深度强化学习的多任务联邦边缘学习激励方法,其特征在于:步骤3中,通过对边缘设备i的效用υi(βi,q)进行求导,得到二阶导数小于0,得出有一个唯一的最优训练比策略来达到效用的最大值,进而求出最优训练比策略 将 代入边缘服务器j的效用uj(qj,βj)并求二阶导数,得到二阶导数小于0,这表明存在唯一的最优支付 使边缘服务器效用最大化;
将激励问题视为用多智能体深度强化学习方法求解的马尔可夫决策过程;在每个训练步骤t中,所有边缘服务器和边缘设备都被认为是一个代理,以分布式的方式进行顺序决策,以最大化其效用;则多智能体马尔可夫决策过程的状态、行动和奖励表述如下:状态空间:在每个训练步骤t中,边缘服务器j首先根据所有边缘服务器的前N步的历史支付策略设置支付策略 边缘服务器j状态空间 定义为 在第二阶段博弈中,边缘设备i根据其他边缘设备前N步的历史训练比例策略确定其训练比例策略 边缘设备i的状态空间 表示为动作空间:在训练步骤t中,每个边缘服务器和每个边缘设备分别根据自己的状态决定支付策略和训练比率策略,边缘服务器j和边缘设备i的作用定义为 和奖励函数:在所有智能体采取行动后,每个智能体获得其他智能体的策略,并计算其效用最大化的即时奖励;边缘服务器j和边缘设备i的即时奖励分别表示为 和 则社会福利定义为所有行动者的即时报酬的总和,即j
采用MA‑DDPG算法实现所制定博弈的纳什均衡;在边缘服务器j中,一个有参数φ1的行j动者网络 将输入状态 映射到动作 一个有参数θ评价网络 估计动作值;对于边缘设备i,行动者网络 的参数定义为 评价网络 的设计i
参数为θ;
在每个训练步骤t中,边缘服务器j是基于状态 确定支付策略的领导者,它与边缘设备的历史训练比率策略和边缘服务器的历史支付策略有关;同时,每个边缘设备i根据对环境状态 的观察充当跟随者,取决于边缘服务器的历史支付策略和其他边缘设备的历史训练比率策略;采取行动后,所有边缘服务器和边缘设备分别获得奖励 和 所有的经验元组 和 分别存储在重放缓冲区中;通过从重放缓冲区中采样小批量训练数据,边缘服务器和边缘设备评价网络通过最小化损失函数进行迭代,由于每个智能体都以获得最大的期望累积奖励为目标,行动者网络通过策略梯度进行更新,最终可以得到最优解。
5.一种基于深度强化学习的多任务联邦边缘学习激励系统,其特征在于,包括以下模块:模块1,用于通过将联邦边缘学习网络映射成劳动力市场,建立联邦边缘学习框架,构建边缘服务器与边缘设备的交互过程;
模块2,用于建立边缘设备与边缘服务器的斯塔克尔伯格博弈模型以最大化边缘设备与边缘服务器的收益;
模块3,用于分析纳什均衡的存在,并在此基础上以多智能体深度强化学习方式求解该斯塔克尔伯格博弈模型的最大化问题,以获得最优的边缘设备任务最优训练比和边缘服务器定价策略。
6.根据权利要求5所述的基于深度强化学习的多任务联邦边缘学习激励系统,其特征在于:模块1中,所述联邦边缘学习框架中有I个边缘设备和J个边缘服务器;在开始联邦学习流程之前,边缘服务器 会发布一个总支付为qj>0的训练任务;边缘设备通过改变本地训练数据与本地数据总大小的比值 去调整训练数据集的数量来处理来自边缘服务器j的任务;当比值 时,代表边缘服务器j的任务不被边缘设备i处理;
边缘服务器j的目标是选取合适的支付qj以达到尽可能高的训练精度,其效用函数为:uj(qj,βj)=f(βj)‑f(qj);
其中 f(βj)为与所有边缘设备训练比值有关的精度收益函数,f(qj)为与总支付qj有关的支付函数。
为有效地激励边缘设备参与本地训练,总报酬qj按数据集量的比例分配给参与训练的边缘设备,边缘设备i的效用定义为其分配的报酬与完成联邦学习任务的总成本之差,其公式为:其中 是边缘服务器j分配给边缘设备i的支付,cij是
边缘设备i参加边缘服务器j本地训练的各类成本总和。
7.根据权利要求6所述的基于深度强化学习的多任务联邦边缘学习激励系统,其特征在于:模块2中,边缘设备与边缘服务器的斯塔克尔伯格博弈模型,在第一阶段博弈中,边缘服务器是获得最优总支付qj以最大化其效用的领导者,其公式化为:其中, 表示边缘服务器j的最大支付;
在第二阶段博弈中,给定支付qj下,边缘设备作为追随者选择最优训练比 以实现最大效用,其公式化为:s.t.βi∈[0,1]。
8.根据权利要求7所述的基于深度强化学习的多任务联邦边缘学习激励系统,其特征在于:模块3中,通过对边缘设备i的效用υi(βi,q)进行求导,得到二阶导数小于0,得出有一个唯一的最优训练比策略来达到效用的最大值,进而求出最优训练比策略 将 代入边缘服务器j的效用uj(qj,βj)并求二阶导数,得到二阶导数小于0,这表明存在唯一的最优支付 使边缘服务器效用最大化;
将激励问题视为用多智能体深度强化学习方法求解的马尔可夫决策过程;在每个训练步骤t中,所有边缘服务器和边缘设备都被认为是一个代理,以分布式的方式进行顺序决策,以最大化其效用;则多智能体马尔可夫决策过程的状态、行动和奖励表述如下:在每个训练步骤t中,边缘服务器j首先根据所有边缘服务器的前N步的历史支付策略设置支付策略 边缘服务器j状态空间 定义为 在第二阶段博弈中,边缘设备i根据其他边缘设备前N步的历史训练比例策略确定其训练比例策略 边缘设备i的状态空间 表示为动作空间:在训练步骤t中,每个边缘服务器和每个边缘设备分别根据自己的状态决定支付策略和训练比率策略,边缘服务器j和边缘设备i的作用定义为 和奖励函数:在所有智能体采取行动后,每个智能体获得其他智能体的策略,并计算其效用最大化的即时奖励;边缘服务器j和边缘设备i的即时奖励分别表示为 和 则社会福利定义为所有行动者的即时报酬的总和,即采用MA‑DDPG算法实现所制定博弈的纳什均衡;在边缘服务器j中,一个有参数 的行j动者网络 将输入状态 映射到动作 一个有参数θ评价网络 估计动作值;对于边缘设备i,行动者网络 的参数定义为 评价网络 的设计i
参数为θ;
在每个训练步骤t中,边缘服务器j是基于状态 确定支付策略的领导者,它与边缘设备的历史训练比率策略和边缘服务器的历史支付策略有关;同时,每个边缘设备i根据对环境状态 的观察充当跟随者, 取决于边缘服务器的历史支付策略和其他边缘设备的历史训练比率策略;采取行动后,所有边缘服务器和边缘设备分别获得奖励 和 所有的经验元组 和 分别存储在重放缓冲区中;通过从重放缓冲区中采样小批量训练数据,边缘服务器和边缘设备评价网络通过最小化损失函数进行迭代,由于每个智能体都以获得最大的期望累积奖励为目标,行动者网络通过策略梯度进行更新,最终可以得到最优解。