1.一种多无人机辅助MEC系统部署卸载策略联合优化方法,其特征在于,包括:建立用于实时通信和数据传输的动态多无人机为多地面终端边缘计算系统模型;
在给定无人机飞行轨迹的情况下,构建最优卸载策略;
根据给定的无人机飞行轨迹和所述最优卸载策略下,构建地面终端卸载匹配决策;
根据所述最优卸载策略和所述地面终端卸载匹配决策,优化多无人机轨迹。
2.如权利要求1所述的多无人机辅助MEC系统部署卸载策略联合优化方法,其特征在于:所述边缘计算系统,包括K个地面终端和M个无人机;
所有无人机都配备有用于通信和计算的小型MEC服务器;
定义所有地面终端随机分布在{Xsize,Ysize,0}的平面上,所有无人机在{Xsize,Ysize,H}的三维空间中飞行,所有无人机在T个时隙内完成由连接的地面终端生成的飞行任务。
3.如权利要求2所述的多无人机辅助MEC系统部署卸载策略联合优化方法,其特征在于:在每个时隙中,无人机完成由连接的地面终端生成的任务;
定义在下一个时隙中,地面终端的位置和任务在一定范围内随机更新,地面终端根据其位置和任务重新选择最优无人机,经过一系列时隙和任务处理,无人机从起点飞到终点,完成轨迹设计;
在第t个时隙中,无人机m的位置为
地面终端k的位置为
地面终端k任务的数据量为Dk(t);
地面终端k处理1bit数据所需的CPU周期数为Fk(t),地面终端k的任务为
4.如权利要求3所述的多无人机辅助MEC系统部署卸载策略联合优化方法,其特征在于:在时隙t基于公平性的无人机辅助边缘计算系统总能耗,表示为:其中, 为地面终端k与无人机m的传输能耗, 为地面终端k的计算能耗,为无人机m的计算能耗, 为无人机m的飞行能耗,I(t)为无人机间的公平指数,ω为无人机飞行能耗的权重。
5.如权利要求4所述的多无人机辅助MEC系统部署卸载策略联合优化方法,其特征在于:基于公平性的系统的总能耗优化问题表示为:其中,
目标函数是最小化无人机完成任务的总系统能耗,C1为无人机和地面终端移动的范围约束,C2为卸载策略的数据量卸载比例约束,C3为无人机安全间距约束,C4为地面终端与无人机卸载匹配决策,其中所有地面终端分别需要选择卸载匹配一架无人机,C5为无人机之间的公平指数约束,越接近1,越公平。
6.如权利要求5所述的多无人机辅助MEC系统部署卸载策略联合优化方法,其特征在于:所述最优卸载策略为任务量卸载比例,包括:根据给定的在时隙t中无人机轨迹Θ,固定地面终端的卸载匹配决策 分析最优策略Ψ的凹凸性,此时系统的总能耗简化为:其中,为无人机之间的公平系数,为功率系数, 和 分别为地面终端端的传输、计算和无人机端计算的能耗系数;为无人机的飞行功率系数, 和 分别为地面终端端传输、计算和无人机端的计算的时延系数;
当系统总耗能最小时,
地面终端k卸载到无人机m的最优卸载策略表示为:
7.如权利要求6所述的多无人机辅助MEC系统部署卸载策略联合优化方法,其特征在于:所述地面终端卸载匹配决策,包括:给定在t时隙无人机轨迹Θ,再通过得到地面终端k的最优卸载策略Ψ来分析地面终端的卸载匹配决策,此时系统的总能耗简化为:其中,r是关于欧几里得距离为dk,m(t)的传输数据速率函数,和 分别为固定的卸载策略Ψ和无人机轨迹Θ后的常数;
定义K个地面终端的卸载匹配决策表示为:
除了地面终端k的其他地面终端的卸载匹配决策表示为:将地面终端的卸载匹配决策 初始化为选择最近的无人机,重复以下步骤:对于地面终端k(k∈[1,K]),保持其他地面终端的卸载匹配决策不变,计算地面终端k的当前最优选择Δk和当 时,修改Δk为地面终端k的最优选择,更新 直到没有地面终端提出自己更好的选择为止;
当处于纳什均衡状态时,地面终端的卸载匹配决策达到最好,并且在时隙t中也达到了E最小化。
8.如权利要求7所述的多无人机辅助MEC系统部署卸载策略联合优化方法,其特征在于:将每个无人机视为一个智能体,环境模型描述为 定义一个Markov决策过程,包括状态、行为、转移概率、奖励和初始状态;
所述状态由每个智能体和地面终端的状态组成,包括:无人机的位置、地面终端的位置、地面终端的数据量以及地面终端匹配无人机m计算1bit数据所需的CPU周期数;
智能体m的状态可以表示为:
所述行为包括将水平偏转角和垂直偏转角定义为每个智能体的行为,表示为:其中,
将智能体的行为m进行标准化操作,表示为:其中,3架无人机的水平偏转角 范围分别为: [0,π], 3架无人机的垂直偏转角所述转移概率表示为:
表示根据行为a=[a1,…,aM]从状态s=[s1,…sM]到下一状态s′=[s′1,…s′M]的转移概率;
所述奖励包括根据目标函数,在确保公平性和最优卸载策略的前提下,将所有智能体在T个时隙中的能耗总和定义为奖励;
所述奖励表示为:
惩罚奖励表示为:
所述初始状态为假设每个无人机完成从起点到终点的飞行轨迹,然后返回起点进行训练,直到奖励收敛。
9.如权利要求8所述的多无人机辅助MEC系统部署卸载策略联合优化方法,其特征在于:采用集中式训练和分布式执行的框架,包括:将转移概率表示为:
P(s′|s,a,μ)=P(s′|s,a)=P(s′|s,a,μ′)其中,μ=[μ1,…,μM]表示在行动者策略网络中M个智能体的确定性策略,μ′=[μ′1,…,μ′M]表示目标策略网络中M个智能体的确定性策略,使用θ=[θ1,…,θM]表示行动者策略网络中确定性策略μ的参数;
智能体m的累计预期奖励表示为:
其中,D表示经验重放缓冲区,包括{s,a,r,s′,done},r=[r1,…,rM]是所有智能体的奖励的集合,γ表示奖励折扣因子;
确定性策略μ的策略梯度表示为:
其中, 表示一个critic网络的中心化动作值函数输出,它的输入为所有智能体的状态和动作, 用于评估actor网络输出策略的质量,通过最小化损失函数来更新critic策略网络损失函数表示为:
其中,目标值 a′=[μ′1(s′1),…,μ′M(s′M)]是M个智能体的行为集合, 表示基于确定性策略μ′的集合的目标网络,它的延迟参数为θ′=[θ′1,…,θ′M];
所述延迟参数θ′的更新方式为:
θ′m←τθm+(1‑τ)θ′m
其中,τ为软更新系数;
训练一个由U个不同策略组成的集合表示为 对于智能体m,累计预期奖励更新为:策略梯度更新为:
10.如权利要求8或9所述的多无人机辅助MEC系统部署卸载策略联合优化方法,其特征在于:优化多无人机轨迹,包括:初始化行动者策略网络μ和目标策略网络μ′,初始化用于存储智能体的经验的回放内存为rpm,生成一个随机过程 用于动作探索,对于每个智能体m,根据Markov决策过程选择动作,并输入所有智能体的状态s和动作a,获取智能体的奖励r及下一个状态s′,将(s,a,r,s′,done)存储在经验存放池rpm中,从经验回放池中采样一个随机批次设置目标值和最小化损失函数来更新critic网络;
所述目标值表示为:
所述最小化损失函数表示为:
更新actor策略网络梯度表示为:
′
软更新每个智能体m的目标网络的延迟参数为θ,每个无人机到达终点的奖励值表示为:当无人机m飞出边界或者在安全间距内飞行时,则奖励值更新为:重复优化步骤,当达到最大迭代次数时,得到耗能最小的最优无人机轨迹。