1.一种基于近端策略优化的无人机轨迹设计和功率分配方法,其特征在于,所述方法包括以下步骤:S100:初始化无人机、基站、各用户的初始位置、无人机的初始速度和无人机电池总能量;获取当前环境状态;
S200:根据标准差以及预设的PPO算法网络中策略网络输出的均值构建服从高斯分布的动作值作为随机变量,通过采样函数从所述随机变量中采样出一个动作,保存动作选取概率,所述动作中包括无人机在三个方向上的加速度矢量和无人机的发射功率,当判断所述动作中加速度超过预设的加速度上限时,根据预设的第一动作更新函数调整得到更新后的动作;
S300:判断所述无人机执行所述更新后的动作是否违反约束条件,若违反,则根据预设的第二动作更新函数调整得到再次更新后的动作并执行;
S400:更新各用户位置,进入新的环境状态,根据所述新的环境状态和所述无人机的发射功率计算系统中断概率和当前无人机消耗的能量;
S500:根据所述系统的中断概率和当前无人机消耗的能量获取奖励,将所述当前环境状态、所述动作、所述动作选取概率和所述奖励作为一组数据存入预设的缓冲区,当确定预设的缓冲区中数据达到预设的数据阈值时,对预设的PPO算法网络进行训练并更新网络的参数,并清空所述预设的缓冲区中的数据;
S600:根据所述当前无人机消耗的能量和所述无人机电池总能量判断无人机能量是否耗尽,当所述无人机的能量耗尽时,累加迭代次数,判断是否超过预设的迭代次数阈值,若是,则达到预设的结束条件,完成无人机中继系统中的轨迹设计和功率分配。
2.根据权利要求1中所述的方法,其特征在于,S200中当判断所述动作中加速度超过预设的加速度上限时,根据预设的第一动作更新函数调整得到更新后的动作,具体为:若 则
其中, 表示无人机在三个方向上的加速度,amax表示预设的加速度上限。
3.根据权利要求2中所述的方法,其特征在于,所述当前环境状态中包括无人机的当前时隙的速度,S300包括:S310:根据所述无人机的当前时隙速度和所述无人机在三个方向上的当前时隙的加速度计算无人机的下一时隙的速度:S320:根据所述无人机的下一时隙的速度和预设的无人机速度最大值判断无人机执行所述更新后的动作是否违反约束条件,若违反,则根据预设的第二动作更新函数调整得到再次更新后的动作:若 则
其中, 和 分别表示无人机在第k+1个时隙和第k个时隙的速度矢量,且δt表示时隙长度,vmax表示无人机速度最大值;
若不违反,则执行S400;
S330:若无人机执行所述再次更新后的动作后在任一方向上超出预设的移动区域边界,则将该方向的位置分量调整为区域边界值,且令该方向上的速度分量为0。
4.根据权利要求3中所述的方法,其特征在于,S400包括:S410:更新各用户位置,进入新的环境状态,所述新的环境状态包括更新后的用户位置、所述基站的位置、无人机的更新后的位置和无人机更新后的速度,根据所述更新后的用户位置、所述基站的位置、所述无人机的更新后的位置和所述无人机的发射功率使用如下公式计算系统的中断概率:2
其中, 表示基站到无人机、无人机到用户n整条链路的中断概率;σ表示信道噪声功率;Γth表示信噪比阈值;α表示单位路径损耗; 和 分别表示基站到无人机、无人机到用户n的距离; 和 分别表示基站和无人机的发射功率; 和 分别表示视距和非视距概率;a0表示非视距链路的衰减因子;
S420:根据所述无人机更新后的速度使用如下公式计算当前无人机消耗的能量:其中, 表示第k个时隙中无人机消耗的能量;G表示无人机的重量;ρ表示空气密度;
S表示转盘的面积;p0表示无人机悬停时所需的功率,且 Cblade表示与转子叶片几何形状相关的阻力系数。
5.根据权利要求4所述的方法,其特征在于,S500中根据所述系统的中断概率和当前无人机消耗的能量获取奖励包括:S510:根据所述系统的中断概率计算与中断概率最小化相关的奖励其中,N表示用户数量,ξout1是一个负的系数,用于调整奖励 在总的奖励中所占比例;nout表示中断概率大于ζ的用户数量;ξout2是一个负的常系数,平均中断概率无法凸显部分用户中断概率过大的情形;
S520:根据所述当前无人机消耗的能量计算与能耗最小化相关的奖励其中,εec是一个常数,表示每时隙的平均能耗阈值,在当前时隙中的能耗如果比εec大,奖励为负,反之,奖励为正,ξec是一个正系数,用于调整奖励 在总的奖励中所占比例;
S530:根据所述无人机加速度和预设加速度上限得到与是否超过无人机加速度上限相关的奖励其中, 是一个二进制数,当无人机加速度矢量和模长大于预设的加速度上限amax时, 否则, ξacc是一个负系数,用于调整奖励 在总的奖励中所占比例;
S540:根据无人机的实时位置确定与是否超出无人机预设的移动区域相关的奖励其中, 是一个二进制数,当无人机超出预设的移动区域边界时, 否则,ξbd是一个负系数,用于调整奖励 在总的奖励中所占比例;
S550:计算总奖励rk:
rk=rout,k+rec,k+rbd,k+racc,k。
6.根据权利要求5所述的方法,其特征在于,S500中将所述当前环境状态、所述动作、所述动作选取概率和所述奖励作为一组数据存入预设的缓冲区,当确定预设的缓冲区中数据足够时,对预设的PPO算法网络进行训练并更新网络的参数,包括:S560:按照折扣率γ计算这批数据中每个时隙对应的奖励期望和优势估计:其中, 表示第k个时隙的奖励期望; 表示第k个时隙的优势估计;V(sk)表示利用预设的评估网络获得的sk状态的价值;
S570:根据如下公式计算预设的PPO算法网络的目标函数:其中,Se是策略模型的熵, 是策略梯度目标函数, 是评估网络目标函数,c1,c2是常系数,用于调整网络目标函数中各部分的权重, 和 可用如下公式计算:其中, 表示新旧网络参数下的动作选择概率比率;ε表示剪切系数,以限制网络更新幅度;Vθ(sk)表示在使用新的网络参数时的状态价值;
S580:通过最大化 更新网络参数θ,使用采集的数据对网络参数连续更新nupdate次后,将参数θold更新为θ。
7.根据权利要求1所述的方法,其特征在于,S500还包括:当预设的缓冲区中数据未达到预设的数据阈值时时,执行S600。
8.根据权利要求1所述的方法,其特征在于,S600还包括:当无人机能量未耗尽时,返回S100中获取当前环境状态;当迭代次数未超过预设的迭代次数阈值时,返回S100。
9.根据权利要求1所述的方法,其特征在于,S100之前还包括:创建无人机和N个用户的移动范围,设立基站;
创建预设的PPO算法网络,所述预设的PPO算法网络包括策略网络和评估网络,初始化所述预设的PPO算法网络参数和预设的缓冲区。