欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2019110299648
申请人: 南京邮电大学
专利类型:发明专利
专利状态:未下证
专利领域: 电通信技术
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于强化学习的能量采集D2D通信资源分配方法,其特征在于:包括以下步骤:(1):用UCU={UCU1,...,UCUi,...,UCUI}、DCU={DCU1,...,DCUm,...,DCUM}和DU={DU1,...,DUn,...,DUN}分别表示上行蜂窝用户集、下行蜂窝用户集和D2D用户集,其中UCUi、DCUm和DUn分别表示上行蜂窝用户i,下行蜂窝用户m和D2D用户n,所述I、M和N分别表示系统中上行蜂窝用户数、下行蜂窝用户数和D2D用户对数,每个D2D用户对包括一个D2D发送端和一个D2D接收端;

(2):初始化采用模式A、B的D2D用户集 采用模式B的下行蜂窝用户集DUn复用UCUi信道在时段k的发送功率 取值为系统预设的最大发送功率 其中模式A时D2D用户间直接通信、基站与下行蜂窝用户直接通信,模式B时D2D发送端充当中继协助基站与下行蜂窝用户通信的同时应用NOMA技术与D2D接收端通信;

(3):对所有D2D用户DUn∈DU和上行蜂窝用户UCUi∈UCU,计算模式A时D2D用户通信的中断概率 和上行蜂窝用户通信的中断概率Oin,k,当 成立,则将DUn添加到集合 中,计算DUn复用UCUi信道时K个时段的容量 反之DUn不能进行通信, 其中ξ表示中断概率阈值,K表示总时段数;

(4):将容量 作为DUn和UCUi二分图连线的权重,利用KM算法完成D2D用户与上行蜂窝用户的最佳匹配,得到信道分配矩阵Yd;

(5):对所有DCUm∈DCU,计算其与基站直接通信时的中断概率 如 则对所有D2D用户 判断 是否成立,若成立,则将DCUm添加到集合 中,将DUn添加到集合 中并从集合 中移除,同时计算DCUm选择作为DTn中继时的容量 反之,DCUm不能进行通信, 其中On,k表示模式B时第一时隙基站与DTn通信的中断概率, 表示模式B时第二时隙DTn与DCUm通信的中断概率, 表示模式B时第二时隙DTn与DRn通信的中断概率, 或 表示模式B时DRn为强用户或弱用户,DTn表示D2D发送端n,DRn表示D2D接收端n;

(6):将容量 作为DUn和DCUm二分图连线的权重,利用KM算法完成D2D用户与下行蜂窝用户的最佳匹配,得到中继选择矩阵Yc;

(7):初始化tnm=1,k=1, Q(sj,ak),Q1=0,其中tnm为迭代次数, 表示DTn在时段k的可用能量,Q(sj,ak)为状态-动作值函数,表示从状态sj出发,执行动作ak后再使用策略π所获得的累计奖赏,Q1表示上一状态时Q(sj,ak)的值;

(8):当|Q1-Q|<θ时,令Q1=Q,计算DTn在时段k的可用能量 并根据可用能量和中断概率阈值约束确定DTn在时段k的可选动作集 其中θ表示收敛阈值,表示D2D用户的动作空间, 表示量化间隔;

(9):根据ε-贪心算法选择DTn在时段k的动作ak,观察下一状态sq并计算 其中表示D2D用户处于状态sj时采取动作ak后转移到状态sq的即时奖赏;

(10):选择使Q(sq,ak+1)最大的动作ak+1,根据公式更新Q(sj,ak),并更新状态sj=sq和时段k=k+1;

(11):重复步骤(8)至步骤(10)直至k=K,当k=K时,根据公式tnm=tnm+1更新迭代次数tnm;

(12):重复步骤(8)至步骤(11)直至tnm≥Titer,得到DUn复用上行蜂窝用户i的信道在时段k的优化功率 并取 其中Titer表示最大迭代次数。

2.根据权利要求1所述的一种基于强化学习的能量采集D2D通信资源分配方法,其特征在于:所述步骤(3)中模式A时DUn复用UCUi信道的中断概率计算公式为其中 λn

和λin表示信道小尺度衰落的指数分布参数,γd表示D2D接收端的信干噪比阈值,κ和α分别表示路径损耗常数和路径损耗指数,dn和din表示发送端与接收端的距离,ρc表示UCUi的发送2

功率,σ表示加性高斯白噪声的功率;

所述步骤(3)中UCUi信道被DUn复用时的中断概率计算公式为:Oin,k=1-(ψ3λiB/(ψ3λiB+γcψ4λnB))exp(-γc/ψ3λiB),其中 γc表示蜂窝用户的信干噪比阈值;

所述步骤(3)中模式A时DUn复用UCUi信道在K个时段的容量计算公式为其中 表示模式A时DUn复用UCUi信道在时段k的容量,τA表示模式A时用户的通信时隙长度, ψ6=ρchin,k+σ2,hn,k表示DTn与DRn间的信道增益,hin,k表示UCUi与DRn间的信道增益。

3.根据权利要求1所述的一种基于强化学习的能量采集D2D通信资源分配方法,其特征在于:所述步骤(5)中DCUm与基站直接通信时的中断概率计算公式为其中ρBS表示基站的发送功率;

所述步骤(5)中模式B时第一时隙基站与DTn通信的中断概率计算公式为所述步骤(5)中模式B时第二时隙DTn与DCUm通信的中断概率计算公式为或 其中b1和b2分

别表示DCUm、DRn所需信号的功率分配因子,η1=b1-γcb2、η2=ψ7ψ8λnmλBn、η3=γc(γc+1)、η4=γcψ7λBn、η5=-γcψ8λnm、η6=-γcψ7λBn、η7=ψ9λim、η8=η12η2+η1η4η7、η9=b1η2+η4η7、η10=b1η5+η6,所述步骤(5)中模式B时第二时隙DTn与DRn通信的中断概率计算公式为或

其中η11=ψ1(b2-γdb1)λn;

所述步骤(5)中模式B时DCUm选择DTn作为中继辅助通信时的容量计算公式为其中 表示DRn为强用户时

DCUm在时段k的容量, 表示DRn为弱用户时DCUm在时段k的容量,τB表示模式B时用户的通信时隙长度,ψ10=ρBShBn,k, ψ12=ρchim,k+σ2,hBn,k表示基站与DTn间的信道增益,hnm,k表示DTn与DCUm间的信道增益,him,k表示UCUi与DCUm间的信道增益。

4.根据权利要求1所述的一种基于强化学习的能量采集D2D通信资源分配方法,其特征在于:所述步骤(8)中DTn在时段k的可用能量计算公式为 其中或 表示模式A或模式B,En,k-1表示时段k-1采集的能量。

5.根据权利要求1所述的一种基于强化学习的能量采集D2D通信资源分配方法,其特征在于:所述步骤(9)中D2D用户即时奖赏的计算公式为 或其中 表示DRn为强用户时DUn在时段k的容量,表示DRn为弱用户时DUn在时段k的容量,ψ13=ρchin,k+σ2,hin,k表示UCUi与DRn间的信道增益。

6.根据权利要求1所述的一种基于强化学习的能量采集D2D通信资源分配方法,其特征在于:所述步骤(10)中状态-动作值函数的更新计算公式为其中 表示更新步长,Υ表

示奖赏折扣。