欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2022108692293
申请人: 郑州大学
专利类型:发明专利
专利状态:已下证
专利领域: 电通信技术
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于多智能体DQN的IRS辅助D2D系统资源分配方法,其特征在于,步骤如下:步骤1,设置基站、IRS、蜂窝用户、K对D2D用户和能量接收机(Energy Harvesting Receiver,EHR)的位置;对蜂窝用户到BS、IRS、接收用户(D2D Receiver,DR)、EHR的信道,发射用户(D2D Transmitter,DT)到DR、IRS、BS、EHR的信道,IRS到BS、DR、EHR的信道进行建模并得到信道增益;

步骤2,根据步骤1中的信道增益,构建蜂窝用户最大传输速率问题;

步骤2.1,蜂窝用户向基站发送的信号的最大传输速率可以表示为Rc;

步骤2.2,系统目标是在满足D2D用户最小传输速率、EHR最低能量采集约束条件下,针对IRS相移矩阵、DT发射功率进行优化,构建蜂窝用户最大传输速率问题;

步骤3,根据系统中的IRS相移矩阵,DT发射功率分配,D2D用户最小传输速率,EHR能量采集,分别对深度强化学习的三大要素:状态、动作及奖励进行定义与设计;

步骤4,利用多智能体DQN算法优化强化学习网络模型。并根据优化后的网络模型获得蜂窝用户最大传输速率。

2.根据权利要求1所述的一种基于多智能体DQN的IRS辅助D2D系统资源分配方法,其特征在于:步骤1中所述信道增益具体包括:使用准静态平坦衰落信道模型,所有的信道增益为理想信道状态信息(Channel State Information,CSI)模式,其中,蜂窝用户到BS、IRS、DR、EHR的信道增益分别为DT到DR、IRS、BS、EHR的信道增益分别为IRS到BS、DR、EHR的信道增益分别为

3.根据权利要求1所述的一种基于多智能体DQN的IRS辅助D2D系统资源分配方法,其特征在于:步骤2.1中所述蜂窝用户传输速率问题具体包括:在上行链路中,基站接收到的信号为蜂窝用户的传输信号、IRS的反射信号和复用蜂窝用户频谱的D2D用户产生的同频干扰信号。因此,蜂窝用户传输速率可以表示为:其中,PC、 分别为蜂窝用户和第i个DT的发射功率,Θ为IRS相移矩阵,满足2

主对角线θn=(0,2π)表示第n(1≤n≤N)个反射元素的相移,σ代表噪声。

4.根据权利要求1所述的一种基于多智能体DQN的IRS辅助D2D系统资源分配方法,其特征在于:步骤2.2中所述构建蜂窝用户最大传输速率问题具体包括:每个D2D用户的信息传输速率可以表示为:

EHR采集的能量表示为:

其中,η为能量转换效率。

因此,蜂窝用户最大化传输速率的问题可以建模为::D

s.t.C1:Ri≥Rmin,

C2:|vn|=1,

C3:E≥Emin

C4:

其中, C1是D2D用户传输速率约束,Rmin为D2D用户可以正常通信的最小传输速率;C2是IRS恒模约束;C3是能量采集约束,Emin为EHR最低能量采集限制;C4是DT发射功率约束,Pmax为DT最大发射功率。

5.根据权利要求1所述的一种基于多智能体DQN的IRS辅助D2D系统资源分配方法,其特征在于:步骤3中所述状态、动作及奖励的定义与设计具体包括:状态:DQN网络需要根据当前所处状态选择最佳的动作,以此来获得更多的奖励,从而能够在保证在满足D2D用户最小传输速率条件下最大化蜂窝用户的传输速率。针对这一目标,状态空间S被定义为D2D用户的SINR,因此,在t时刻智能体所处的状态为:其中,SINRi(t)为第i个智能体在t时刻的信干噪比,即传输速率。

动作:DQN算法中,每输入一个状态,DQN网络会根据ε‑greedy策略来选择一个动作,agent执行这个动作获得一个奖励值并到达下一个状态。ε‑greedy策略表示为:其中,0<ε<1。

针对本章所提IRS辅助D2D通信系统,动作空间A应包含所有的功率选择和IRS相移选择。因此,t时刻的动作at定义为:其中, A1和A2分别表示D2D用户功率分

配空间和IRS反射元素相移选择空间。

奖励函数:本模型采用蜂窝用户的速率作为瞬时奖励,考虑D2D用户的最低传输速率约束,奖励值rt定义为:则长期累积的奖励值为:

其中,γ∈[0,1]为折扣因子,表示agent对未来奖励的关注程度。当γ=0时,agent只关注当前时刻的奖励值,γ越大,则表示agent越关注未来的奖励,这种远视能力通常有助于agent更加明智的选择动作。

6.根据权利要求1所述的一种基于多智能体DQN的IRS辅助D2D系统资源分配方法,其特征在于:步骤4中所述利用多智能体DQN算法优化强化学习网络模型具体包括:整个算法由在线决策和离线训练两部分组成:

在线决策阶段,首先初始化当前环境,得到初始状态st,根据ε‑greedy(0<ε<1)策略选择一个动作,然后计算奖励值并到达下一个状态st+1,然后将(st,at,rt,st+1)作为数据样本存入经验池中。

离线训练阶段,从经验池中随机抽取一批数据,根据以下定义计算出真实的Q值:yt=rt+γmaxQ(st+1,at+1;θ)其中,θ为网络中的参数,通过训练当前值网路,更新参数θ,让网络预测的Q值无接近真实的Q值,因此,损失函数表示为:2

ψ(t)=(yt‑Q(st,at;θ))

本算法中,采用Adam优化器最小化损失函数,然后反向传播更新网络中的参数。训练一段时间后,将当前值网络中的权值参数复制到目标值网络。