欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2023100657629
申请人: 无锡学院
专利类型:发明专利
专利状态:已下证
专利领域: 电通信技术
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种异构网络中基于强化学习的动态资源分配优化方法,其特征在于,包括以下步骤:

步骤1:建立异构网络模型,明确以能量效率为最大的优化目标,异构网络模型由宏基站、小基站以及用户组成;将宏基站看作智能体,建立马尔可夫决策过程,确定状态空间、动作空间和奖励函数;

步骤2:划分宏基站覆盖区域和异构网络带宽;通过D3QN网络训练异构网络模型,所述D3QN网络包括double DQN网络和dueling DQN网络;

步骤3:计算宏基站到用户的信干噪比,设定宏基站和小基站的最大发射功率,最小化损失函数;

步骤4:在dueling DQN网络中引入double DQN网络以获得值函数和优势函数,确定最优的异构网络超参数K和β,最大化异构网络的能量效率,实现动态资源分配优化。

2.根据权利要求1所述的一种异构网络中基于强化学习的动态资源分配优化方法,其特征在于,步骤1中异构网络模型设有L个基站和多个用户n;基站包括L1个宏基站,L2个小基站,且满足L1+L2=L;用户n包括宏基站用户和小基站用户。

3.根据权利要求2所述的一种异构网络中基于强化学习的动态资源分配优化方法,其特征在于,步骤1之后还包括,每个宏基站与小基站的功率平均分配给子信道;信干噪比大于预设阈值β,预设阈值β为异构网络的超参数;动作空间的降维通过动作空间被设置为超参数的一系列离散值;资源分配采用部分共享部署的信道分配方案,K个子信道由宏基站和小基站共享,宏基站子信道数为M‑K个,异构网络超参数K的范围为0<K<M。

4.根据权利要求3所述的一种异构网络中基于强化学习的动态资源分配优化方法,其特征在于,步骤2中划分宏基站覆盖区域具体为;根据宏基站与小基站的数量与分布情况确定小基站用户和宏基站用户位置;将宏基站覆盖区域作为宏小区,分为三个扇形,每个扇形区域部署相同数量的小基站,将宏小区分为中心区域C1、C2、C3和小区边缘区域E1、E2、E3。

5.根据权利要求4所述的一种异构网络中基于强化学习的动态资源分配优化方法,其特征在于,步骤2中划分异构网络带宽具体为,异构网络具有M个子信道,每个子信道的带宽为W;异构网络整个带宽被分为c、e两大部分,带宽e包括e1,e2,e3;将主子载波发射功率P1分为三部分,三部分带宽标记为e1,e2,e3;使用软频率复用技术为宏基站用户分配频域资源,使用全部带宽为小基站的小区用户进行资源分配;每个小区使用的子载波分为主子载波、次子载波;主子载波的发射功率大于次子载波,主子载波供小区边缘用户使用,次子载波供小区中心用户使用,克服正交频分多址系统中共信道干扰问题。

6.根据权利要求5所述的一种异构网络中基于强化学习的动态资源分配优化方法,其特征在于,步骤2中通过D3QN网络训练异构网络模型具体为,步骤2.1:根据状态st、动作at和奖励rt,将产生的(st,at,rt,st+1)存储在异构网络回放池存储器D中;

步骤2.2:判断回放池存储器D中的数据是否达到一定数量,若达到一定数量,开始训练异构网络直到收敛;若没有达到一定数量,继续步骤2.1;

步骤2.3:智能体为宏基站,采用D3QN网络作为策略,智能体的状态输入为整个异构网络的测量值,动作空间输出为异构网络超参数K和β的值;

步骤2.4:智能体不断与异构网络交互,并根据反馈更新D3QN网络的权重;设定强化学习框架,状态设为所有用户和每个基站之间的信道增益,即st=Gln,{Gln},l=0,...,L,n=

1,...,N;

步骤2.5:动作空间设为智能体需要选择的异构网络超参数K和β的值,作为联合UARA问题的解决方案,即动作空间为at={K1,...,Kp,β1,...,,βQ},p为PSD共享信道数的可能值,Q为信干噪比阈值的可能值;输入状态,智能体计算每个超参数K值的概率和每个超参数β值的概率;动作空间为p*Q;

步骤2.6:奖励设为 U(Rn)=log(Rn)为能量效率函数;wn为用户权重,异构网络中所有用户具有相同的优先级,wn=1/N,n=1,2,...,N;

步骤2.7:按照迭代次数对异构网络模型进行训练,得到训练好的异构网络模型。

7.根据权利要求6所述的一种异构网络中基于强化学习的动态资源分配优化方法,其特征在于,步骤3中计算宏基站到用户的信干噪比具体为:所有基站的集合表示为其中宏基站的索引为0,其余L个为小基站;宏基站=0的独占占用子信道m上宏基站用户处的信干噪比 为:

其中, Gon表示宏基站0到用户n的信道增

益,N0表示带宽为W的子信道上的噪声功率;

宏基站=0的共享子信道上宏基站用户处的信干噪比 为:

其中,

小基站=1,...,L的共享子信道上小基站用户处的信干噪比 为:其中,Ppc=Ppico/K;Gln表示小基站到用户n的信道增益,包括天线增益、路径损耗和阴影衰落,假设所有子信道从基站到用户获得相同的信道增益。

8.根据权利要求7所述的一种异构网络中基于强化学习的动态资源分配优化方法,其特征在于,步骤3中宏基站和小基站的最大发射功率分别表示为Pmacro和Ppico;Pmacro和Ppico分别为:任何用户的数据速率为:

其中, 表示基站;Rmacro表示宏基站用户的数据速率;Rpico表示小基站用户的数据速率;如果用户n与基站 相关联,则 否则 为用户调度因子,即基站分配给其连接用户的时间比例;

在不丧失通用性的情况下,使用局部比例公平准则进行用户调度,即每个基站向其所有连接用户分配相同比例的时间;每个用户在任何时候都应该连接到一个且只有一个基站。

9.根据权利要求8所述的一种异构网络中基于强化学习的动态资源分配优化方法,其特征在于,步骤3中最小化损失函数具体为,状态映射到动作空间的Q表表示为Qt(st,at),用权重为θ的异构网络逼近器 表示在线网络;采用Q学习方法更新异构网络权重以最小化损失函数:

其中, 为Double DQN网络中的目

‑

标值;st、st+1分别为t、t+1时刻智能体的状态,at、at+1分别为t、t+1时刻能体的动作空间;θ是目标网络的权重;θ、γ分别为表示在线网络的网络参数、衰减因子;Rt、Qt分别为Double DQN网络的奖励、输出;在dueling DQN网络中引入异构网络以获得值函数V(s)和优势函数A(st,at)=Qt(st,at)‑V(s);

将(st,at,rt,st+1)存储在回放池存储器D中,在训练过程中,异构网络从回放池存储器D中均匀随机的采样小批量数据来训练,减少训练实例之间的相关性,避免得到局部最优解。

10.根据权利要求9所述的一种异构网络中基于强化学习的动态资源分配优化方法,其特征在于,步骤4中在dueling DQN网络中引入double DQN网络以获得值函数和优势函数具体为,在dueling DQN网络中,Double DQN网络的最后一层被分为两个子网络,分别估计dueling DQN网络的值函数V(s)和优势函数A(st,at),使用Double DQN网络对其连接层输出V(st;θ,μ)和A(st,at;θ,α),其中,α和μ均表示全连接层的权重;组合V(st;θ,μ)和A(st,at;θ,α),得到dueling DQN网络的输出Qt(st,at;θ,α,μ)为:Qt(st,at;θ,α,μ)=V(st;θ,μ)+A(st,at;θ,α)为提高D3QN网络的稳定性,在dueling DQN网络的输出Qt(st,at;θ,α,μ)减去一个常数,保证状态下动作空间的优势函数相对序列不变,缩小Q值的范围,即: