1.一种面向低轨卫星星座的多目标动态偏好星地协同计算卸载方法,其特征在于:包括以下步骤:步骤1、构建面向低轨卫星星座的多目标动态偏好任务计算模型、通信模型和星地通信时间模型;
步骤2、在充分考虑用户任务最大接受时延、星地最大通信时间、用户对时延与能耗的动态偏好需求和低轨道卫星有限计算能力这些约束条件下,构建多用户多边缘结点的动态偏好任务多目标星地协作计算卸载优化函数;
步骤3、采用深度强化学习的方法对低轨卫星-移动边缘计算系统的多目标优化函数进行求解,求解方法为:将计算卸载问题描述为多目标马尔可夫决策过程,转化为求解最优计算卸载控制策略的问题;
步骤4、初始化深度强化学习模型的当前网络和目标网络和经验池大小,采用随机法生成偏好向量,从而为时延和能耗两目标分配当前用户偏好值;
步骤5、利用随机采样的方式从经验池中选取样本来训练深度强化学习模型;
步骤6、获取当前时隙的系统状态和偏好,将系统状态输入至训练好的深度强化学习模型中,利用训练好的深度强化学习模型,得到每个时隙的任务卸载决策;
其中,多用户多边缘结点的动态偏好任务多目标星地协作计算卸载优化函数,动态时延偏好需求下所有用户相应卸载决策的总时延为:,
动态能耗偏好需求下所有用户相应卸载决策的总能耗为:,
其中和分别表示地面终端设备i对时延与能耗的偏好值;
多目标优化函数则为如下具有两个任务的多目标优化问题:,
,
,
,
,
,
其中约束和分别表示终端设备任务i的完成时间不得超过卸载决策下卫星j的最大覆盖时间和任务i的最大容忍时间,表示地面终端用户i产生的任务在本地的计算时间;表示地面终端用户i产生的任务卸载至LEO卫星j上的计算时间;表示低轨卫星j为所有用户分配的计算资源和不超过它本身的最大计算力,为LEO卫星j为终端任务i分配的计算能力(CPU cycles/s);中与分别表示地面终端设备i对时延与能耗的偏好需求;表示地面终端设备i的卸载决策,表示是否进行计算卸载,表示卸载至哪个低轨卫星服务器进行计算,表示选择哪个信道传输数据;
所述的将计算卸载问题描述为多目标马尔可夫决策过程,转化为求解最优计算卸载控制策略的问题,多目标马尔可夫决策过程可以用元组表示,即状态空间,动作空间,状态转移概率,奖励和偏好空间,在状态s下根据强化学习算法选择执行的动作a,获得一个最优计算卸载控制策略π* ,以最大化设备移动过程中获得的长期累积奖励:某时隙状态空间定义为,其中表示时隙 t 时终端用户i的本地计算力,表示时隙 t 时终端用户i产生的任务数据量,表示时隙t终端设备的优先级排序列表,表示时隙 t 时低轨卫星j的计算力,表示时隙t信道传输情况;
某时隙动作空间定义为,其中表示任务i不卸载进行本地计算,表示任务i卸载至低轨卫星服务器进行计算;表示任务i通过星地链路卸载到第M个卫星边缘节点,表示任务i选择第K个信道传输数据复合奖励奖励函数设置为如下所示:
,
其中,,和分别表示在偏好下的用户时延奖励和能耗奖励,与分别表示终端的时延与能耗偏好,z是一个负数;
所述深度强化学习模型的训练方法为,
步骤1:对深度强化学习中的主网络和目标网络进行参数初始化,构建一个大小为N的经验池,设置迭代次数,初始化状态,为训练过程奠定基础;
步骤2:根据当前时隙的系统状态和用户偏好,将其输入至主网络中得到Q值向量,结合当前深度神经网络参数并使用偏好与Q向量的内积和作为选择依据,使用-greedy贪婪策略决策出当前状态s下的动作a,并计算当前状态下采取决策动作获得的即时奖励和下一个状态 s´;
步骤3:将获得的当前时隙的系统状态、系统动作、即时奖励、偏好和下一时隙的系统状态存储于经验池;
步骤4:从经验缓冲池中随机选择一部分作为经验样本进行训练,根据梯度下降最小化损失函数并对主网络参数进行更新,每隔300次迭代将主网络参数同步给目标网络;
步骤5:通过训练旨在最大化奖励,得到最优的卸载决策;迭代结束后长期累积奖励达到最优,即可获得最优卸载决策。