1.一种基于强化学习的低轨卫星星间计算卸载与资源分配方法,其特征在于:包括以下步骤,S1、进行可用卫星节点筛选:本地卫星收到任务时,向云中心发送信息,云中心节点向可用卫星发出询问并接收可用卫星信息,可用卫星信息包括每个可用卫星的可用计算资源、在前设定期限内故障的次数以及与本地卫星之间的跳数,然后根据可用卫星信息来进行筛选,选择符合设定条件的N个边缘卫星,加入边缘卫星群组;
S2、进行优化建模:建立系统模型包括任务模型与计算模型,通过任务模型与计算模型,得到与卸载决策和计算资源分配的相关的优化问题,并将优化问题进行马尔可夫决策过程建模即MDP建模,得到MDP模型包括状态、动作和奖励三个部分;
步骤S2中,建立系统模型,具体为,
S21、任务模型中将接收到的总任务进行分割,得到M个子任务,得到任务信息C={C1,...,Ci,...,CM},其中,Ci为子任务i的信息,1≤i≤M,每个子任务i的信息由两个参数组成的元组来表示:Ci=
S22、计算模型包含本地计算模型与卸载计算模型,
本地计算模型包括子任务i在本地执行时的本地计算时延本地计算能耗与本地可信值其中,fL为本地计算能力,κ为能量系数,为常数;
卸载计算模型包括子任务i卸载到边缘卫星j进行计算的卸载传输时延卸载传播时延卸载计算时延卸载传输能耗卸载计算能耗卸载可信值其中,vij表示星间传输速率,L表示相邻两颗卫星之间的距离,c为光速,为第j个边缘卫星分配给子任务i的计算能力,ptrans为本地卫星到边缘卫星之间的传输功率,x为本地卫星到第j个边缘卫星的最小跳数,e为指数函数exp(·);假设节点出现故障的概率服从参数为σ的泊松分布,定义卸载可信值为在子任务i处理时间间隔[0,t]内边缘卫星节点j上没有发生故障的概率值;
S3、使用深度确定性策略梯度算法即DDPG算法进行联合求解:将获得的任务信息、任务队列状态和边缘卫星节点信息作为输入,在训练阶段,对DDPG神经网络进行训练,得到训练后的DDPG神经网络模型;在测试阶段,最终通过训练后的DDPG神经网络模型输出最优卸载策略和最优计算资源分配。
2.如权利要求1的基于强化学习的低轨卫星星间计算卸载与资源分配方法,其特征在于:步骤S1中,选择符合设定条件的N个边缘卫星,具体为,本地卫星到边缘卫星所需的跳数hopj≤本地卫星到边缘卫星的最大跳数限制hopmax,且边缘卫星j在前设定期限内发生故障的平均次数σj≤边缘卫星近期发生故障的最大次数限制σmax。
3.如权利要求1的基于强化学习的低轨卫星星间计算卸载与资源分配方法,其特征在于:步骤S2中,建立优化问题的目标函数为:其中,A为所有任务的卸载决策集合,其由优化后的aij构成,F为边缘卫星给各任务分配的计算资源集合,其由优化后的构成,ω1、ω2、ω3分别表示为时延的权重因子、能耗的权重因子、可信值的权重因子,子任务i的时延子任务i的能耗子任务i的可信值约束条件为:
aij(1-aij)=0
hopj≤hopmax
σj≤σmax,1≤i≤M,1≤j≤N
其中,aij表示子任务i在边缘卫星j上的决策,表示一个子任务只能选择一个边缘卫星进行卸载,Ti表示子任务在边缘卫星计算的时间,表示为处理子任务能接受的最大耗时,表示边缘卫星j为卸载至该卫星的子任务分配的计算资源总和,表示边缘卫星j自身最大的计算能力,hopj表示边缘卫星j与本地卫星之间的跳数,hopmax表示边缘卫星与本地卫星之间的最大跳数限制,σj表示边缘卫星j过去时间段内发生故障的次数,σmax表示边缘卫星在过去时间段内发生故障的最大次数限制。
4.如权利要求3的基于强化学习的低轨卫星星间计算卸载与资源分配方法,其特征在于:步骤S2中,得到MDP模型包括状态、动作和奖励三个部分,具体为,状态sp为任务信息C、任务队列状态QT与剩余计算资源Fedge;动作ap为当前子任务卸载决策与计算资源分配;奖励为rp=K-(ω1Ti+ω2Ei+ω3Pi)-Q1-Q2,其中,K为奖励修正因子,Ti为子任务i的时延,Ei为子任务i的能耗,Pi为子任务i的可信值,ω1、ω2、ω3分别表示为时延的权重因子、能耗的权重因子、可信值的权重因子,Q1为时延惩罚因子,Q2为计算资源惩罚因子。
5.如权利要求4的基于强化学习的低轨卫星星间计算卸载与资源分配方法,其特征在于:步骤S3中,在训练阶段,对DDPG所用神经网络进行训练,得到训练后的DDPG神经网络模型,具体为,S31、初始化DDPG神经网络参数θμ,θμ',θQ,θQ'、学习率α,β、软更新因子τ、奖励折扣因子γ、经验回放区R、采样批次B;
S32、初始化环境状态值sp=(C,QT,Fedge),初始化OU噪声;
S33、根据当前环境中的任务信息C、任务队列状态QT、边缘卫星计算资源Fedge从Actor目标网络输出动作S34、执行动作ap,根据环境信息计算得到下一状态sp+1和奖励rp;
S35、将(sp,ap,rp,sp+1)存入经验回放区R内;
S36、从R中随机采样批量数目值的多维数组(sp,ap,rp,sp+1);
S37、用Actor目标网络得到下一状态的动作值;
S38、用Critic目标网络得到当前状态的Q值函数的目标值;
S39、用Critic训练网络得到当前状态的Q值Q(st,at|θQ);
S310、通过最小化损失函数来更新Critic训练网络;
S311、通过梯度上升法来更新Actor训练网络;
S312、通过软更新的方式来更新Actor目标网络和Critic目标网络;
S313、重复步骤S33~S312,直至任务队列QT为空,在当前轮次的奖励总和score>当前最高的奖励值best_score时,保存网络模型;
S314、重复步骤S32~S313,直至达到最大迭代次数;
S315、输出训练后的DDPG神经网络模型。
6.如权利要求5的基于强化学习的低轨卫星星间计算卸载与资源分配方法,其特征在于:步骤S3中,在测试阶段,最终通过训练后的DDPG神经网络模型输出最优卸载策略和最优计算资源分配,具体为,S316、加载训练阶段保存的训练后的DDPG神经网络模型;
S317、初始化神经网络学习率(α,β)、软更新因子τ、奖励折扣因子γ、经验回放区R;
S318、初始化环境状态值sp=(C,QT,Fedge),其中,C为任务信息、QT为任务队列状态,Fedge为边缘卫星计算资源,初始化OU噪声;
S319、根据当前环境中的任务信息C、任务队列状态QT、边缘卫星计算资源Fedge从Actor目标网络输出动作S320、执行动作ap,根据环境信息计算得到下一状态sp+1和奖励rp;
S321、将ap中的aij加入当前卸载决策A,加入当前计算资源分配F;
S322、重复步骤S319~S321,直至任务队列QT为空,得到当前卸载决策A和当前计算资源分配F;
S323、重复步骤S318~S322,直至达到最大迭代次数,输出最高奖励动作的最优卸载策略和最优计算资源分配。
7.如权利要求6的基于强化学习的低轨卫星星间计算卸载与资源分配方法,其特征在于:步骤S34与步骤S320,具体为:①使用aij、计算时延Ti、能耗Ei和可信值Pi;
②判断是否满足时延约束和计算资源约束
③如果同时满足时延约束与计算资源约束,则rp=K-(ω1Ti+ω2Ei+ω3Pi),否则为rp=K-(ω1Ti+ω2Ei+ω3Pi)-Q1-Q2。