1.智能反射面辅助的基于DQN-DDPG的资源分配方法,其特征在于:包括如下步骤:步骤1,设置基站、IRS及用户的位置,对基站到IRS、IRS到K个用户和基站到K个用户之间的信道进行建模,获取三者的信道增益;
其中,IRS节点,基站节点和K个用户的分布进行如下定义:
所有通信节点建立三位笛卡尔坐标系,部署K个地面用户,固定高度的基站配有M根天线和固定高度的IRS配有N个反射单元并且每个反射单元的相位可以调整接收信号,则基站,IRS和第k个用户的位置为wB=[xB,yB,zB]T,wR=[xR,yR,zR]T,wk=[xk,yk,0]T,其中每个位置中的三个数分别表示对应的x,y,z轴坐标;
基站到用户的LoS路径被堵塞的情况下,基站到用户k的信道可以被建模为瑞利衰落信道,则信道增益可以被表示为:其中是具有零均值和单位方差的复高斯随机向量,PLB,k是基站和用户之间的路径损耗;
基站到IRS以及IRS到用户k之间的信道建模为莱斯衰落,因此相应的信道增益为:其中K1和K2是Rician-K因子,和是具有零均值和单位方差的复高斯随机分量,而和是信道中的确定性分量,PLBR和PLRk是对应的路径损耗;路径损耗可以被建模为:其中PL0=30dB,D0=1m,ξ为路径损耗指数,d为链路之间的距离;
步骤2,根据步骤1中三者的信道增益,获得系统和速率的优化问题;
步骤2.1,基站使用子载波c向用户k传输数据的可达速率可以表示为
步骤2.2,系统的目标为联合设计子载波分配,波束成形和IRS无源波束成形矩阵以最大化系统和速率,而这个目标要满足基站发射功率约束条件,IRS单元反射幅度约束条件,子载波使用方式约束条件,用户传输方式约束条件和用户的最小速率要求约束条件;
步骤3,根据通信系统中的用户子载波分配,基站波束成形,IRS无源波束成形相移,用户最小可达速率要求,系统的和速率,建立马尔可夫过程;
步骤4,利用联合DQN和DDPG算法优化强化学习模型;
步骤5,根据优化后的深度强化学习模型获得优化的解,得到系统的和速率;
输入当前的系统状态st,深度强化学习可以根据模型学习到最优的动作at,可得到优化问题的解、最优的子载波分配、波束成形和无源波束相移。
2.根据权利要求1所述的智能反射面辅助的基于DQN-DDPG的资源分配方法,其特征在于:所述步骤2.2中,用户可达速率为:其中B是带宽,C是子载波数,代表基站使用子载波c向用户k传输,反之代表没有使用子载波c,表示基站使用子载波c向用户k发射的波束,而表示噪声。
3.根据权利要求1所述的智能反射面辅助的基于DQN-DDPG的资源分配方法,其特征在于:所述步骤2.2中,系统目标表述为第一个约束条件为发射总功率不能超过基站最大发射功率,即第二个约束条件表示IRS反射为全反射,即第三个约束条件为每个子载波只有被使用和未被使用两种情况,即第四个约束条件为一个子载波只能分配给一个用户使用,不能多个用户占用,即第五个约束条件表示必须满足用户的最小可达速率要求,即
4.根据权利要求1所述的智能反射面辅助的基于DQN-DDPG的资源分配方法,其特征在于:所述步骤3中,马尔可夫过程具体表示为:步骤3.1,状态空间S:状态st由第t-1时间步的动作,可达速率和信道矩阵构成,由于信道矩阵具有虚实部,可以将虚部和实部作为独立的输入;
步骤3.2,动作空间A:动作at由离散动作的子载波分配和连续动作的波束成形,IRS无源波束相移构成,为步骤3.3,即时奖励r:为确保满足每个用户的最小可达速率同时使得和速率最大化,奖励函数可以设置为其中w1和w2为常系数,而δk表示为;
5.根据权利要求1所述的智能反射面辅助的基于DQN-DDPG的资源分配方法,其特征在于:所述步骤4中,具体包括以下步骤:步骤4.1,训练回合ep初始化为0;
步骤4.2,ep回合中的时间步t初始化为0;
步骤4.3,根据输入的状态st,C个DQN网络获得离散动作
步骤4.4,根据输入的状态st,Actor在线网络获得连续动作
步骤4.5,获取总的网络即时奖励rt,同时转换到下一状态st+1,获取训练集(st,at,rt,st+1);
步骤4.6,将训练数据集存储到经验回放池D中;
步骤4.7,判断是否满足t
步骤4.8,从经验回放池D中随机采样一批N数量样本构成的数据集,发送给在线DQN网络,目标DQN网络,在线Actor网络,目标Actor网络,在线Critic网络,目标Critic网络;
步骤4.9,DQN网络数目c初始化为0;
步骤4.10,根据采样的数据集,第c个DQN网络根据状态si和ai得到对应的Q(si,ai;w),根据s i+1得到最优的Q(s i+1;w)值,根据回报r i和Q值得到网络的LO S S函数为在线网络通过最小化LOSS函数来更新参数w;
步骤4.11,判断是否满足c=C-1,C为总的DQN网络数量,若不满足则c=c+1,返回4.10,若不是进入(4.12);
步骤4.12,根据采样的数据集,在线Actor网络根据状态si,得到动作ai=π(si;μ),将状态si和得到的动作ai=π(si;μ)输入在线Critic网络,获得Q(si,π(si;μ);w),根据来对在线Acto r网络参数θ进行更新,同样利用对在线Critic网络参数进行更新;
步骤4.13,每U轮利用在线Actor网络参数μ更目标Actor网络中参数μ-,利用在线Critic网络参数θ更新目标Critic网络中参数θ-;
步骤4.14,判断是否满足轮数ep