1.基于DDPG算法的IRS辅助无人机通信联合优化方法,其特征在于,所述联合优化方法基于IRS辅助无人机通信系统,所述通信系统包括IRS、旋转翼无人机,所述旋转翼无人机上安装若干根用于波束成形的天线,所述旋转翼无人机在固定高度H飞行作为空中基站服务K个单天线用户的下行传输系统,所述IRS接收无人机信号并将其通过反射信号绕过障碍物传输给用户;
所述联合优化方法的步骤为:
步骤1、对无人机基站和K个地面用户之间的信道、无人机和IRS之间的信道及IRS和K个地面用户之间的信道进行建模,构成空对地通信模型,求解三者的信道增益;
步骤2、根据三者的信道增益,获得无人机到地面用户在时隙t的数据传输可达和速率优化问题;
步骤3:根据通信系统中无人机的发射功率波束成形约束、运动轨迹约束,IRS无源波束成形相移约束和用户可达和速率,建立深度强化学习模型;
步骤4:利用DDPG算法优化强化学习模型;
步骤5:根据优化后的深度强化学习模型获得联合优化的解,得到优化的用户可达数据、速率和无人机的运动轨迹;
所述步骤1中,IRS和K个地面用户分布以及无人机状态进行如下定义:所有通信节点建立三维笛卡尔坐标系,部署K个地面用户的和固定Z高度的IRS配有M个反射单元并且每个反射单元的相位可以调整接收信号,则用户k和IRS的水平坐标为wk=T T[xk,yk],wR=[xR,yR],其中k∈K,K是地面用户总数;
无人机在任务周期T内持续地向用户发射信号,T>0;无人机飞行周期T以步长δt分为N个T等距时隙,T=Nδt;在第t∈[0,T]时刻,无人机的平面坐标定义为q(t)=[x(t),y(t)] ,其中x(t)和y(t)分别表示无人机的二维横坐标和纵坐标;IRS在第t个时隙中的相移矩阵为diag{·}表示对角矩阵 ,对角矩阵其中θm(t)表示IRS在第t个时隙的第m个反射单元的相移,其中m∈M,M是IRS单元总数;
无人机到用户的LoS路径被堵塞的情况下,无人机到用户的信道被建模为Rician衰弱信道,无人机到用户k在第t时隙的信道增益表示为:其中ρ表示在参考距离d0=1m时的信道增益,κ是无人机与用户链路的路径损耗指数,guk是具有零均值和单位方差的复高斯随机向量;
表示无人机在第t时隙与用户k之间的距离,Nt是无人机的发射天线的数目;
无人机到IRS的信道以LoS信道为主,因此第t个时隙时无人机到IRS信道增益H(t)表示为:其中 表示在第t时隙无人机和IRS之间的距离,gur表示数组响应阵列;
IRS到用户链路同时存在LoS和NLoS成分,因此,IRS到用户k的信道增益hk表示为:其中 表示IRS到用户k的距离,ε为IRS到用户端路径损耗指数,β为瑞利因子, 和 分别表示智能发射面到用户k链路的LoS和NLoS成分;
步骤2中,用户k在第t时隙中的SINR计算公式为:2
其中 为无人机波束成形矢量,σ是加性高斯白噪声的功率,γk(t)表示用户k在第t时隙中的SINR;
系统目标为联合设计无人机波束成形矢量 IRS无源波束成形相移矩阵和无人机飞行轨迹 来使得用户可达和速率最大化,该优化问题表述为:
s.t.||q(t+l)‑q(t)||≤Dmax,q(0)=qI,q(T+I)=qF
其中Dmax=Vmaxδt是无人机在单个时隙中行驶的最大水平距离,Vmax是无人机最大行驶速度,单位为m/s,qI和qF分别为无人机的水平坐标中的初始值和最终值,Pmax表示无人机的最大发射功率;
步骤3中,建立深度强化学习模型的马尔可夫过程为:(t)
步骤3‑1、状态空间S:状态s 由第t时隙的无人机发射功率和用户接收功率、第t‑1步(t)的动作、信道矩阵{Gk(t),H(t),hk},k∈K决定;在构造状态s 中,如果涉及到复数,则将复数的实部和虚部提取出来被分离为独立的输入端口;
(t)
步骤3‑2、动作空间A:动作a 是由优化变量波束成形矩阵B、无源波束成形相移矩阵Θ和轨迹q构成;同样,为了解决实际输入问题,在第t时隙将Bk(t)=|Re{Bk(t)}|+|Im{Bk(t)}|,k∈K和Θ(t)=|Re{Θ(t)}|+|Im{Θ(t)}|分为实部和虚部;
步骤3‑3、即时奖励R:确保无人机为所有用户提供服务,并基于优化问题奖励函数为考虑到无模型的强化框架,在有限时间T对学习最佳策略进行建模以获得最大的长期奖励
(t) (t) (t) (t)
状态作用值函数Qπ(s ,a )表示在给定策略π,状态s 下采取动作a 而获得的累计* *奖励期望;通过Q学习算法可搜索最优策略π,在最优策略π下定义的Q值更新函数为:(t+1) (t) (t) * (t) (t)其中χ∈(0,1]为折扣因子,r (s =s,a ,π=π)为在第t时隙状态s ,动作a 和* (t+1)最优策略π下得到的即时奖励r ,s′为无人机在第t+1时刻的状态,a′为无人机在第t+1(t)时刻的动作, 是采取动作a从状态s 过渡到下一个状态s′的转移概率;
步骤4中所述利用DDPG算法优化深度强化学习模型,具体包括以下步骤:步骤4‑1、训练回合数ep初始化为0;
步骤4‑2、ep回合中的第t时隙初始化为0;
(t) (t) (t+1)
步骤4‑3、在线Actor策略网络根据输入状态s ,输出动作a 并获取即时奖励r ,同(t+1) (t) (t) (t+1) (t+1)时转换到下一状态s ,获取训练数据集(s ,a ,r ,s );
(t) (t) (t+1) (t+1)
步骤4‑4、将训练数据集(s ,a ,r ,s )存储到经验回放池记忆库D中;
步骤4‑5、从目标Critic评论网络得到Q值方程步骤4‑6、从经验回放池D中随机采样一小批W数量样本构成数据集,发送给在线Actor策略网络、在线Critic评论网络、目标Actor策略网络和目标Critic评论网络;
(t)
步骤4‑7、根据采样得到的W数量样本,目标Actor策略网络根据当前的状态s 输出动(t) (t) (t)作a ,目标Critic评论网络根据当前的状态s 和目标Actor策略网络输出动作a ,输出Q(t)值函数 的损失函数梯度 在线Critic评论网络根据当前(s ,a(t) (t+1)
,r )输出Q值函数 给的抽样策略梯度 和损失函数梯度 根据(t)
损失函数梯度 更新在线Critic评论网络参数 在线Actor策略网络将动作a输出给抽样策略梯度 根据抽样策略梯度更新在线Actor策略网络参数步骤4‑8、根据在线Critic评论网络参数 和在线Actor策略网络参数 更新目标Critic评论网络参数 和目标Actor策略网络参数其中τc和τa分别是用于更新目标Critic评论网络和目标Actor策略网络权重的软更新速率;
步骤4‑9、判断是否满足t
步骤4‑10、判断是否满足轮数ep
更新梯度公式为:
(t)
其中a′是从目标Actor策略网络输出的动作, 表示在给定输入状态s 下为在线Actor策略网络参数为 所输出的动作, 是在线Actor策略网络参数为 的梯度。