1.一种基于Q‑learning的毫微微小区功率控制方法,所述方法包括以下步骤:S1、根据异构蜂窝网络模型,建立以最小接收信号信干噪比和最大用户发射功率为约束条件,以毫微微小区总能效为优化目标的能效优化模型;
其中,ηb表示毫微微小区b的能效;SINRb,μ表示用户ub,μ与小区b通信时,小区b接收到的信干噪比;Ub表示小区b内的用户集合,具体为 Nb表示小区b内的用户总数,μ∈{1,2,...,Nb};ub,μ表示小区b中第μ个用户;W表示频谱带宽;pb,μ表示用户ub,μ的发min
射功率, 表示ub,μ的固有功率消耗;SINRb,μ 表示基站b能够成功解码来自ub,μ的接收信max
号的最小信干噪比;pb,μ 表示用户最大发射功率;
其特征在于,
S2、按照Q‑learning算法,根据能效优化模型,构建出毫微微小区内控制实体的功率控制动作空间、网络状态空间、以及控制实体在各个网络状态采取发射功率动作后回报的系统能效值;
所述功率控制动作空间为
min
其中,Pb,μ为用户ub,μ的发射功率等级集合,用户ub,μ的发射功率取值范围为pb,μ ≤pb,μmax
≤pb,μ ,在该范围包括db,μ个发送功率等级,则ub,μ的发射功率等级集合具体为毫微微小区b的发射功率向量为 则毫微微小区b内的控制实体采取的发射功率动作ab=Pb,小区内所有用户发射功率等级的排列组合构成小区b控制实体的动作空间,且有ab∈Ab;
所述网络状态空间为Sb;
其中,Sb包括状态sb出现的所有可能值;毫微微小区b内控制实体的状态为sb=(Ib,lb);
Ib表示小区b中Nb个用户的上行干扰向量, lb表示小区min
b中Nb个用户的信干噪比系数向量;λb,μ用于判断实际的SINRb,μ与SINRb,μ 之间的大小关min
系,当SINRb,μ≥SINRb,μ 时,λb,μ=1,否则为0;
所述控制实体在各个网络状态采取发射功率动作后回报的系统能效值表示为:其中, 表示控制实体在网络状态sb采取发射功率动作ab后回报的系统能效值;
S3、通过更新状态‑动作值函数,寻找各网络状态下的最佳发射功率动作,从而得到最佳的功率控制策略;
所述状态‑动作值函数表示为:
其中, 表示在t+1时隙控制实体在网络状态sb选择发射功率动作ab的状态‑动作值函数; 表示控制实体在网络状态sb采取发射功率动作ab后回报的系统能效值;s'b表示控制实体在网络状态sb选择发射功率动作ab后,所位于的新状态;a'b表示网络状态s'b下对应的发射功率动作,α表示学习效率,γ表示折扣奖赏因子;
获取最佳的功率控制策略的过程包括:初始化网络状态,控制实体利用ε‑贪婪算法确定初始网络状态下的发射功率动作;即以概率ε从功率控制动作空间中随机选择一个发射功率动作,以概率1‑ε选择功率控制动作空间中的使得当前状态‑动作值最大的发射功率动作;计算采取发射功率动作,得到的系统能效值;记录控制实体采取发射功率动作后,位于的新网络状态;结合状态‑动作值的增量求和式,选择新网络状态下对应的最大状态‑动作值,更新状态‑动作值;根据最新的状态‑动作值,确定初始网络状态对应的最佳发射功率动作,从而更新功率控制策略;确定新网络状态对应的最佳发射功率动作,重复上述步骤,直到执行步数等于T,返回最佳的功率控制策略。
2.根据权利要求1所述的一种基于Q‑learning的毫微微小区功率控制方法,其特征在于,信干噪比SINRb,μ的计算公式为:其中, 表示ub,μ与Bb之间的信道增益;pb,i表示ub,i的发射功率; 表示用户ub,i与小区b之间的信道增益;pm,n表示用户小区m中第n个用户um,n的发射功率, 表示um,n与小区b之间的信道增益;n0为高斯白噪声信道的功率谱密度;M表示毫微微小区的个数。