1.基于多智能体深度强化学习的多小区多业务资源分配方法,适用于多小区eMBB和URLLC用户系统的资源分配问题,其特征在于:所述多小区多业务资源分配方法包括如下步骤:步骤1:构建用于解决多小区eMBB和URLLC用户系统资源分配的多智能体网络;
步骤2:状态获取:将本小区内eMBB和URLLC用户在不同基站不同子信道上的信道增益信息,作为本小区当前状态st;
步骤3:子信道分配和功率分配:本地神经网络将步骤2获取的状态作为输入,然后输出本地的子信道分配动作和功率分配动作,具体步骤为:步骤3-1:在每个时隙开始时,获得的本地状态sn(t)被送到对应的本地Q-DNN n′网络和actor DNN n′网络,n为基站;
步骤3-2:本地Q-DNNn′网络采用∈-greedy策略从本地子信道分配动作空间中选出一个动作作为当前时隙内的子信道分配方案;
步骤3-3:与此同时本地actor DNN n′网络被激活,使用相同的状态作为输入,根据来输出对应的功率分配动作,其中,μ(sn(t);θ′n)是本地actor DNN n′网络的策略函数,θ′n是本地actor DNN n′的网络参数,表示随机噪声过程,并且遵循正太分布;
步骤3-4:最后本地网络输出联合子信道和功率分配动作如下:a(t)={a1(t),a2(t),...,aN(t)}={[C1(t),P1(t)],[C2(t),P2(t)],…,[CN(t),PN(t)]};
步骤4:反馈获取和参数更新:将步骤3得到的子信道分配动作和功率分配动作传至系统中,系统给出奖励以及移动到下一个状态,然后本地网络持续收集当前状态、当前动作、当前奖励以及下一时刻状态,并将其上传至经验记忆池,接着从经验记忆池中抽取样本数据来训练中心网络参数并下传至本地网络;
步骤5:决策驱动机制,通过对系统的状态进行监测,当两个相连时隙的状态几乎相同时,就会触发新一轮的学习过程,否则就继续将上一个时隙输出的动作作为当前时隙的最优资源分配动作。
2.根据权利要求1所述基于多智能体深度强化学习的多小区多业务资源分配方法,其特征在于:所述步骤1中多智能体网络的构建具体为:步骤1-1:在本地建立了N个Q-DNN和N个actor DNN,本地网络根据本地的信道状态信息输出本地的子信道分配动作和功率分配动作;
步骤1-2:基于DDQN和DDPG在中心建立集中式训练网络,通过环境反馈的奖励更新网络的参数,继而更新本地网络的参数;
步骤1-3:智能体通过不断的学习达到奖励最大化。
3.根据权利要求1所述基于多智能体深度强化学习的多小区多业务资源分配方法,其特征在于:步骤4中,所述反馈获取和参数更新具体为:步骤4-1:各小区收到步骤3的联合子信道分配和功率分配动作an(t)后,从当前状态sn(t)移动到下一个状态s′n(t),并给出本地奖励rn(t),然后反馈至本地网络;
步骤4-2:本地网络持续收集经验en={sn(t),an(t),rn(t),s′n(t)},并将其上传至中心网络;
步骤4-3:中心网络收到后,将全局信息{s1(t),s2(t),...,sN(t),a1(t),a2(t),...,aN(t),r(t),s′1(t),s′2(t),...,s′N(t)}以先进先出的方式存储在经验池D中,其中,步骤4-4:在中心网络,从经验记忆池中选出一部分样本数据,更新中心网络参数,最后将更新的网络参数下传至本地以实现本地网络参数的更新。
4.根据权利要求3所述基于多智能体深度强化学习的多小区多业务资源分配方法,其特征在于:所述步骤4-4具体为:步骤4-4-1:对于本地Q-DNN n′的参数更新:在t时刻,从经验记忆池中选出一部分样本数据,通过最小化下面的损失函数来更新中心网络Q-DNN n的网络参数αn和βn,其中,
和是中心网络目标Q-DNNn的网络参数,然后每隔X步将中心网络Q-DNN n的参数以赋值给对应的目标Q-DNN网络,如下所示:和
最后将更新的网络参数αn和βn下传至本地以实现Q-DNN n′网络参数的更新;
步骤4-4-2:对于本地actor DNN n′的参数更新:在t时刻,同样以上述样本数据通过最小化下面的损失函数来更新中心网络critic DNN的网络参数δ,其中,
y(t)=r(t)+γQ(s′1(t),...,s′N(t),P′1(t),...,P′N(t);δ-),δ-是目标critic DNN的网络参数;
步骤4-4-3:以Soft-update的方式更新目标critic DNN的网络参数,如下所示:δ-←τcδ+(1-τc)δw
其中,0<τc<<1,τc表示目标critic DNN网络的学习率;
步骤4-4-4:通过最大化全局奖励的期望来训练中心网络actor DNN n的网络参数,中心网络actor DNN n的网络参数θn通过以下方式更新:目标actor DNN的网络参数更新方式如下:
其中,0<τn<<1,τn表示目标actor DNN n网络的学习率;
步骤4-4-5:将更新的网络参数θn下传至本地以实现actor DNN n′网络参数的更新。
5.根据权利要求1所述基于多智能体深度强化学习的多小区多业务资源分配方法,其特征在于:步骤5中,所述决策驱动机制具体为:步骤5-1:设定一个状态误差阈值ρ,
ρ=||s(t)-s(t-1)||2,其中,s(t)表示当前时隙的状态,s(t-1)表示上一时隙的状态;
步骤5-2:决策驱动模块通过监测当前状态,然后与上一时隙的状态进行对比,决定是否进行新一轮的学习,如下所示:其中,an(t-1)表示基站n在上一时隙的输出动作,表示基站n进行新一轮学习后的输出动作。