欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2020114160923
申请人: 南京邮电大学
专利类型:发明专利
专利状态:已下证
专利领域: 电通信技术
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.基于多智能体深度强化学习的下行多小区OFDMA资源分配方法,其特征在于,具体步骤包括如下:

步骤(1.1)、构建用于解决下行多小区OFDMA系统资源分配的多智能体网络;

步骤(1.2)、基于OFDMA系统中小区间的干扰,建立每个接收用户的信噪比及每个小区获得数据速率;

步骤(1.3)、状态获取:包括训练阶段及测试阶段;

步骤(1.4)、子信道分配:所述的子信道分配是基于MADDQN算法选择最优子信道分配方案C;所述C={C1,C2,……,CN},式中,C中的元素表示各个小区的子信道分配情况;

步骤(1.5)、功率分配:在得到子信道分配方案C后,再联合MADDPG网络来选择最优的功率分配方案P;所述P={P1,P2,……,PN},P中的元素表示各个小区的功率分配情况;

步骤(1.6)、反馈获取和参数更新:联合MADDQN算法和MADDPG两个网络输出的资源分配方案及目标函数得到下行OFDMA系统中每个小区内所有用户的传输速率;然后基于经验重放和固定Q值两个策略训练子信道分配网络和功率分配网络,更新网络的参数。

2.根据权利要求1所述的基于多智能体深度强化学习的下行多小区OFDMA资源分配方法,其特征在于,

在所述步骤(1.1)中,构建多智能体网络的具体操作方法如下:首先,设定OFDMA系统中有N个基站,每个基站有M个用户随机分布在小区内,每个用户被分配一根天线用于接收和发送数据,且每个基站内有L个子信道;然后,构建一个多智能体竞争深度Q网络和一个多智能体深度确定性策略梯度网络,分别用来解决下行多小区OFDMA系统中的子信道分配和功率分配问题。

3.根据权利要求1所述的基于多智能体深度强化学习的下行多小区OFDMA资源分配方法,其特征在于,

在步骤(1.2)中,建立每个接收用户的信噪比及每个小区获得数据速率的具体操作步骤如下:

首先,用户m接收到来自基站n的第l个子信道的信噪比为:式中, 表示用户m接收到来自基站n的第l个子信道的信噪比,表示在t时刻用户m收到来自基站n的第l个子信道的信道增益, 表示在t时刻基站n的第l个子信道的发送功率,表示在t时刻用户m收到来自基站k的第l个子信道的信道增益, 表示在在t时刻基站k的第l个子信道的发送功率,N0表示噪声功率。

然后,得到用户m在基站n的第l个子信道实现的发送速率为:式中, 表示用户m在基站n的第l个子信道实现的发送速率;w表示每个子信道的带宽, 表示子信道的分配索引;

最后,每个小区实现的传输速率可表示为:式中,Xn(ct,pt)表示每个小区实现的传输速率。

4.根据权利要求1所述的基于多智能体深度强化学习的下行多小区OFDMA资源分配方法,其特征在于,

在步骤(1.3)中,所述状态获取的具体操作步骤如下:在训练阶段,获取t时刻各小区内所有用户在不同子信道上的信道增益信息,作为当前状态st,表示如下:

在测试阶段,则将本小区内用户的信道增益Si作为输入即可。

5.根据权利要求1所述的基于多智能体深度强化学习的下行多小区OFDMA资源分配方法,其特征在于,

在步骤(1.4)中,所述子信道分配的具体操作步骤如下所述:首先,采用多个竞争深度Q网络对下行多小区OFDMA系统进行子信道分配,其中,每个竞争深度Q网络架构均由两个流组成,分别用于估计当前信道增益信息的价值V(si,β)和子信道分配动作的优势A(si,ci,α);式中,β,α分别为上述两个流对应网络的参数;

其次,通过聚合层将两个流组合并产生状态—动作值函数Q(si,ci;α,β),该Q值用来衡量在当前信道增益信息Si下选取子信道分配动作Ci的价值。

6.根据权利要求1所述的基于多智能体深度强化学习的下行多小区OFDMA资源分配方法,其特征在于,

在步骤(1.5)中,在所述功率分配的过程中,采用多个深度确定性策略梯度网络来分配功率,其中,每个深度确定性策略梯度网络由一个Actor网络和一个Critic网络构成,网络参数设置为θ;其具体操作步骤如下所述:首先,在集中训练阶段,每个智能体的Actor网络根据本小区信道增益信息Si选择一个功率分配动作Pi;

其次,Critic网络收集所有小区的信道增益信息S和功率分配动作P计算一个Q值,用作对Actor网络所选动作Pi的反馈;

最后,Critic网络根据估计的Q值和实际的Q值来进行训练,即最小化以下损失函数:式中,yi表示由该Critic网络内的目标Q网络 产生的目标Q值。

7.根据权利要求1所述的基于多智能体深度强化学习的下行多小区OFDMA资源分配方法,其特征在于,

在步骤(1.6)中,所述反馈获取和参数更新的具体操作方法如下所述:首先,联合MADDQN算法和MADDPG两个网络输出的资源分配方案at={C,P},再根据目标函数得到下行OFDMA系统中每个小区内所有用户的传输速率,即奖励rt:rt=Xn(ct,pt),

然后,再基于多智能体深度强化学习算法最大化长期的累计折扣奖励Rt,式中,γ表示折扣因子;最后基于经验重放和固定Q值两个策略训练子信道分配网络和功率分配网络,更新网络的参数。