1.蜂窝网络中D2D中继通信的功率控制与中继选择方法,其特征在于,按照如下步骤进行:步骤S1,建立系统模型,系统内N个D2D用户对与K个蜂窝用户共存,D2D用户对用集合I={1,2,...,N}表示,D2D发射端、D2D接收端以及蜂窝用户分别用集合S={1,2,...,N},D={1,2,...,N}和C={1,2,...,K}表示;假设系统中存在M个理想用户作为中继,用集合表示为R={1,2,...,M};
若一个D2D用户对m=(s,d)通过某一中继r进行通信,其中m∈I,s∈S,d∈D,r∈R,D2D通信第一跳链路中继以及基站的信干噪比为 和 第二跳链路中D2D接收端及基站的信干噪比为 和 D2D发射端到D2D接收端的能效为EE(Ps,Pr,Pc,),Ps、Pr、Pc分别表示D2D发射端、中继、蜂窝用户的传输功率;
步骤S2,在保证蜂窝网络中D2D用户和蜂窝用户的最小传输速率条件下,首先将D2D中继通信的功率控制与中继选择问题转化为混合整数非线性规划问题,并将其拆分为D2D发射端、中继以及蜂窝用户的功率控制与D2D中继选择两个子问题逐步进行求解;
步骤S2.1:定义矩阵X为中继选择矩阵,第m行、第r列的元素表示为中继因子xmr,当某一D2D用户对m通过某一中继r进行通信时xmr=1,否则xmr=0;Es={Ps1,Ps2,...,PsN},以及 分别表示D2D发射端、中继以及蜂窝用户的功率分配矩阵,其中Ps1,Ps2,...,PsN分别表示D2D发射端1,2,...,N的传输功率, 分别表示中继1,2,...,M的传输功率, 分别表示蜂窝用户1,2,...,K的传输功率;
步骤S2.2:引入中继复用因子xmr之后,将D2D中继通信的功率控制与中继选择问题转化为如下混合整数非线性规划问题:U(r1)(Ps,Pc)≥Umin; (8e)U(r2)(Pr,Pc)≥Umin; (8f)其中,Pmax为传输功率的阈值,Umin和Rmin为D2D链路和蜂窝链路最小传输速率,W表示信道的带宽,U、T表示函数符号;
步骤S3,分别求出D2D发射端、中继和蜂窝用户的最优传输功率;
步骤S4,最后提出一种基于强化学习中的Q学习算法的中继选择策略,最大化系统中D2D用户对的能效。
2.根据权利要求1所述蜂窝网络中D2D中继通信的功率控制与中继选择方法,其特征在于,步骤S1中所述D2D通信第一跳链路中继以及基站的信干噪比 和 具体求解过程如下:其中,Gsr、Gsb、Gcr和Gcb分别表示D2D发射端到中继、D2D发射端到基站、蜂窝用户到中继以及蜂窝用户到基站的信道增益,N0表示加性高斯白噪声;
所述第二跳链路中D2D接收端及基站的信干噪比为 和 具体求解过程如下:
以及
其中,Pr表示中继的传输功率,Grd、Grb、Gcd和Gcb分别表示中继到D2D接收端、中继到基站、蜂窝用户到D2D接收端和蜂窝用户到基站的信道增益。
3.根据权利要求1所述蜂窝网络中D2D中继通信的功率控制与中继选择方法,其特征在于,步骤S1中所述D2D发射端到D2D接收端的能效具体求解过程如下:D2D用户通信第一跳链路的能效表达式为:
D2D用户通信第二跳链路的能效表达式为:
D2D发射端到D2D接收端的能效可表示为D2D发射端到D2D接收端的传输速率比上总功率消耗,基于式(5)、式(6),具体为:其中,Pcir表示电路功率损耗,η表示功率放大系数。
4.根据权利要求1所述蜂窝网络中D2D中继通信的功率控制与中继选择方法,其特征在于,步骤S3中所述D2D发射端、中继和蜂窝用户的最优传输功率具体求解步骤如下:步骤3.1:假设给定一个中继,则xmr=1;通过所述公式(8)可以将功率分配问题表示为:步骤S3.2:求出蜂窝用户的最优传输功率,想要最大化公式(9),那么蜂窝功率 必须取最小值,由(8g)可得:可以明显看出公式(9)的分子不是一个确定的表达式,为了保证D2D用户对在第一跳链路和第二跳链路的传输速率,将公式(9)分成问题I和问题II,其中问题I为最大化D2D用户在第一跳链路的能效 问题II为最大化D2D用户在第二跳链路的能效问题I和问题II分别表示为:
问题I:
问题II:
步骤S3.3:利用Dinkelbach方法和拉格朗日对偶分解求解问题I;首先,将问题I转化成等价的减式形式,可得:其中,用q1表示为D2D反射端到中继的能效,则 为D2D发射端到中继的最大能效;假设第n次迭代中得到D2D发射端的传输功率Ps(n),第n-1次迭代中得到D2D反射端到中继的能效q1(n-1),则优化问题公式(13)的增广拉格朗日式为:其中,δr1(n)和θr1(n)是第一跳链路约束条件的拉格朗日算子;由对偶分解可得式(14)可分解为如下最大化最小问题,即:步骤S3.4:使用Karush-Kuhn-Tucker条件,可得第n次迭代时得到的最优D2D发射端的传输功率θr1(n,τ+1)={θr1(n,τ)-α[U(r1)(n,τ)-Umin]}+; (18)同理可得:θr2(n,τ+1)={θr2(n,τ)-α[U(r2)(n,τ)-Umin]}+; (21)其中,δr2(n),θr2(n)表示第二跳链路约束条件的拉格朗日算子,q2表示中继到D2D接收端的能效,τ表示内部迭代的次数,α表示迭代的步长,e表示自然对数;通过多次迭代之后,求出合适的D2D发射端、中继的传输功率。
5.根据权利要求1所述蜂窝网络中D2D中继通信的功率控制与中继选择方法,其特征在于,步骤S4中所述提出一种基于强化学习中的Q学习算法的中继选择策略,最大化系统中D2D用户对的能效,具体过程如下:步骤S4.1:首先定义Q学习中的几个要素:
智能体:智能体为D2D用户对;
动作:动作集合表示为:
A=(a1,a2,...,aM); (22)其中,a1,a2,...,aM分别表示中继1,2,...,M的动作;
设定以D2D发射端到D2D接收端的距离为半径,分别以D2D发射端和D2D接收端为圆心做出两个相交的圆,而辅助通信的中继只能从相交区域中选出;
状态:智能体在t时刻所处的状态用St表示,智能体的状态取决于D2D用户在第一跳链路和第二跳链路的能效,具体地:其中,EEth代表D2D链路的最低能效要求,EE(r1)、EE(r2)分别表示第一跳链路和第二跳链路的能效,s1,s2,s3,s4表示智能体可能处于的四个状态;
回报函数:回报函数Reward表示执行动作后的报酬,当回报函数为正值时表示所选动作有益,当回报函数为负值时表示所选的动作对于最终结果有负面影响,具体表达式为:其中,C是折扣因子,EE表示D2D发射端到D2D接收端的能效;
步骤S4.2:初始化状态,然后从多个备选中继中随机选择一个中继进行通信,通过式(r1) (r2)(5)、式(6)计算出EE (Ps,Pc)和EE (Pr,Pc);
步骤S4.3:根据Q学习算法,依次遍历所有的备选中继,利用Q学习更新D2D用户对的Q表,在经过多次迭代后Q表收敛,根据Q表选择最佳中继。