欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2022113357492
申请人: 湖北工业大学
专利类型:发明专利
专利状态:已下证
专利领域: 电通信技术
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种深度强化学习的联邦学习资源分配优化方法,其特征在于,包括以下步骤:步骤1:每个移动设备通过联邦学习模型训练得到每个移动设备的训练后联邦学习模型模型参数,并生成每个移动设备的训练延迟、每个移动设备的训练能量消耗,每个移动设备将训练后联邦学习模型模型参数、训练延迟、训练能量消耗无线上传至基站,在无线上传过程中每个移动设备生成传输延迟和传输能量消耗,每个移动设备将生成的传输延迟、传输能量消耗无线上传至基站;

步骤2:结合最大能量约束、最大异步通信时延约束、带宽分配约束、剪枝率约束构建约束条件,结合每个移动设备的训练延迟、训练能量消耗、传输延迟、传输能量消耗构建联邦学习资源分配优化目标模型;

步骤3:结合步骤2的约束条件,以联邦学习资源分配优化目标模型最小化作为优化目标,通过深度强化学习优化求解得到每个移动设备的优化策略;

步骤2所述构建联邦学习资源分配优化目标模型,具体过程如下:其中,U表示联邦学习资源分配优化目标模型,为权重因子,表示移动设备的局部联邦学习模型所占的数据量,是移动设备的二元决策变量,=1表示设备选择参与当前的联邦学习模型训练,否则=0,表示移动设备在联邦学习过程中产生的总延迟,是移动设备的模型剪枝率,表示移动设备的数量;

步骤3所述通过深度强化学习优化求解得到每个移动设备的优化策略,具体过程如下:结合联邦学习资源分配优化目标模型,通过深度强化学习方法构建深度强化学习资源分配优化目标模型;

所述深度强化学习资源分配优化目标模型包括状态空间、动作空间、奖励函数;

所述深度强化学习资源分配优化目标模型具体定义如下:

其中,表示移动设备的数量,表示迭代的最大自出,表示状态空间中状态的数量,为第次迭代时移动设备的状态空间,为第次迭代时移动设备的动作空间,为第次迭代时移动设备的奖励函数,为第次迭代时移动设备由状态向状态转移的状态转移概率,为折扣因子,为第次迭代时移动设备的状态空间中第x个状态,为第次迭代时移动设备的状态空间中第y个状态;

基于所述第次迭代时移动设备的联邦学习资源分配优化目标模型,结合马尔可夫决策过程,第次迭代时移动设备的累计奖励函数模型,定义如下:其中,表示第次迭代时移动设备的累计奖励函数模型,表示移动设备在第次迭代中基于、时的连接状态,表示移动设备选择参与当前联邦学习过程,否则,是折扣因子;为第次迭代时移动设备由状态向状态转移的状态转移概率,为第次迭代时移动设备的状态为状态空间中第y个状态时的值函数;

基于贝尔曼准则,通过对累计奖励函数的求解,最终得到移动设备的最优策略。

2.根据权利要求1所述的深度强化学习的联邦学习资源分配优化方法,其特征在于:步骤1所述每个移动设备通过联邦学习模型训练得到每个移动设备的训练后联邦学习模型模型参数,具体如下:每个移动设备通过联邦学习模型的初始化参数向量初始化局部联邦学习模型得到每个移动设备的初始化局部联邦学习模型,每个移动设备采用历史流量数据作为训练集结合梯度算法进行联邦学习模型训练,得到每个移动设备的训练后联邦学习模型模型参数;

步骤1所述每个移动设备的训练延迟,具体定义如下:

i∈[1,M]

其中,表示移动设备的训练延迟,表示移动设备的二元决策变量,=1表示移动设备选择参与当前的联邦学习模型训练,否则=0;为设备处理数据位所需的计算资源量,为移动设备的历史流量数据集,为联邦学习模型训练的CPU周期数,表示移动设备的计算能力,M表示移动设备的数量;

步骤1所述每个移动设备的训练能量消耗,具体定义如下:

其中,表示移动设备的训练能量消耗,表示CPU的功耗;

步骤1所述每个移动设备生成的传输延迟,具体定义如下:

其中,表示移动设备生成的传输延迟,表示移动设备的局部联邦学习模型所占的数据量,是移动设备的二元决策变量,=1表示设备选择参与当前的联邦学习模型训练,否则=0;为移动设备的传输速率;是移动设备的模型剪枝率,且满足,是设定的剪枝率的最大值;

步骤1所述每个移动设备生成的传输能量消耗,具体定义如下:

其中,表示移动设备生成的传输能量消耗,表示移动设备上传模型所产生的传输延迟,为移动设备的发射功率。

3.根据权利要求2所述的深度强化学习的联邦学习资源分配优化方法,其特征在于:步骤2所述最大能量约束,具体如下:

i∈[1,M]

其中,表示移动设备在联邦学习过程中产生的总能量消耗,为最大能量,为移动设备的训练能量消耗,为移动设备生成的传输能量消耗,M表示移动设备的数量;

步骤2所述最大异步通信时延约束,具体如下:

其中,表示移动设备在联邦学习过程中产生的总延迟,为固定延迟值,表示移动设备的训练延迟,表示移动设备生成的传输延迟;

步骤2所述带宽分配约束,具体定义如下:

其中,表示移动设备的带宽,是移动设备的二元决策变量,=1表示设备选择参与当前的联邦学习模型训练,否则=0,为基站的可用带宽;

步骤2所述剪枝率约束,具体定义如下:

其中,是移动设备的模型剪枝率,是设定的剪枝率的最大值。

4.根据权利要求3所述的深度强化学习的联邦学习资源分配优化方法,其特征在于,所述状态空间,根据资源分配优化问题,定义移动设备的连接状态,具体如下:其中,表示第次迭代时移动设备的状态空间,表示在第次迭代时参加联邦学习过程的移动设备1、移动设备2、...、移动设备的连接状态集合,表示第次迭代时移动设备的的二元决策变量,表示第次迭代时移动设备的选择参与联邦学习训练过程,否则;,当能量消耗满足最大能量约束时,,若不满足,则。

5.根据权利要求4所述的深度强化学习的联邦学习资源分配优化方法,其特征在于:所述动作空间,根据观察到的所有移动设备的环境状态,具体如下:其中,表示移动设备1、移动设备2、...、移动设备的动作空间合集,为第次迭代时移动设备的环境状态,为第次迭代时移动设备的移动设备的传输功率,表示第次迭代时移动设备的二元决策变量,表示第次迭代时移动设备的选择参与当前联邦学习训练过程,否则;表示第次迭代时移动设备的剪枝率。

6.根据权利要求5所述的深度强化学习的联邦学习资源分配优化方法,其特征在于:所述奖励函数,在满足步骤2所述约束条件下,定义联邦学习的奖励函数,具体表示为:其中,表示第次迭代时移动设备的奖励函数,为第次迭代时移动设备的联邦学习资源分配优化目标模型,为权重因子,表示第个移动设备,表示第次迭代时移动设备的局部联邦学习模型所占的数据量,是第次迭代时移动设备的二元决策变量,表示移动设备选择参与联邦学习训练过程,否则;表示移动设备在第次迭代时的剪枝率;

如若不满足步骤2所述约束条件,则联邦学习的奖励函数表示为:其中,为惩罚因子。