1.一种面向6G算力网络的计算卸载方法,其特征在于,包括:基于用户本地设备、低地轨道卫星和远程云数据中心构建算力网络模型,并根据所构建的算力网络模型定义用户本地设备、远程云数据中心与低地轨道卫星间的通信方式;
根据用户的卸载决策,确定用户计算任务卸载到用户本地设备、低地轨道卫星和远程云数据中心进行计算的卸载比例;
建立用户本地设备、远程云数据中心与低地轨道卫星间的通信模型,根据香农公式计算不同通信路径的传输速率;
根据用户计算任务的特性和不同通信路径的传输速率,结合通信方式分别计算用户本地设备、低地轨道卫星和远程云数据中心对用户计算任务进行处理的时延和能耗;
结合所述卸载比例以及时延和能耗,建立时延模型和能耗模型;
基于用户本地设备的剩余电量状态,以降低延迟或减少能耗为目标,为时延模型和能耗模型分配权重;
以最小化用户与算力网络环境交互过程中的用户服务质量感知成本为目标,建立全局优化目标函数;
求解所述全局优化目标函数的最优解,生成每个用户的最优卸载动作。
2.根据权利要求1所述的面向6G算力网络的计算卸载方法,其特征在于,所述算力网络模型中包括N个用户本地设备、M颗低地轨道卫星组成的卫星群网络,以及一个远程云数据中心;
所述用户本地设备、远程云数据中心与低地轨道卫星间的通信方式,包括:在时间间隔T内,有恒定的颗低地轨道卫星能够与用户本地设备进行通信,用户本地设备直接利用其通信覆盖范围内的低地轨道卫星的算力资源;
所述低地轨道卫星作为计算节点处理用户计算任务,或者作为中继节点,将用户计算任务转发至远程云数据中心;
其中,N和均为大于等于1的整数,
;
;
式中:L表示低地轨道卫星在覆盖时间内经过的轨道弧长;表示低地轨道卫星的运行速度;Re表示地球半径;H表示低地轨道卫星的轨道运行高度;表示对应于低地轨道卫星覆盖区域的地心角;表示用户本地设备与低地轨道卫星之间的仰角。
3.根据权利要求2所述的面向6G算力网络的计算卸载方法,其特征在于,所述用户的卸载决策定义为:;
式中:表示用户计算任务卸载到用户本地设备进行计算的比例;表示用户计算任务卸载到低地轨道卫星进行计算的比例;表示用户计算任务卸载到远程云数据中心进行计算的比例;、和受以下关系式约束:。
4.根据权利要求3所述的面向6G算力网络的计算卸载方法,其特征在于,用户本地设备与低地轨道卫星之间的通信模型定义为:;
式中:表示第n个用户的用户本地设备与第m颗低地轨道卫星之间的地空通信的数据传输速率;表示用户本地设备与低地轨道卫星之间的传输带宽;表示选择将用户计算任务卸载到第m颗低地轨道卫星的用户的数量,卸载到同一低地轨道卫星的用户以均分的方式共享带宽资源;表示第n个用户的用户本地设备的传输率;表示在t时刻第n个用户的用户本地设备与第m颗低地轨道卫星之间的信道增益;表示信道噪声功率;
低地轨道卫星与远程云数据中心之间的通信模型定义为:;
式中:表示第m颗低地轨道卫星与远程云数据中心的数据传输速率;表示拥塞系数;表示低地轨道卫星与远程云数据中心之间的传输带宽;表示选择将用户计算任务卸载到远程云数据中心的用户的数量;表示第m颗低地轨道卫星的传输率;表示在t时刻第m颗低地轨道卫星与远程云数据中心之间的信道增益。
5.根据权利要求4所述的面向6G算力网络的计算卸载方法,其特征在于,所述用户计算任务的特性定义为:;
式中:表示用户计算任务的数据量大小,以字节为单位;表示完成数据量中CPU计算所需计算量,以CPU周期为单位;表示完成数据量中GPU计算所需计算量,以GPU浮点运算次数为单位;表示用户容忍的最长延迟时间;表示用户容忍的最大能耗;
所述根据用户计算任务的特性和不同通信路径的传输速率,结合通信方式分别计算用户本地设备、低地轨道卫星和远程云数据中心对用户计算任务进行处理的时延和能耗,包括:当用户计算任务卸载到用户本地设备时,仅考虑用户计算任务的计算时延,时延的计算公式如下式所示:;
式中:表示t时刻用户计算任务卸载到第n个用户的用户本地设备计算时,完成用户计算任务所需的时延;表示第n个用户的用户本地设备的CPU计算能力;表示第n个用户的用户本地设备的GPU计算能力;
能耗的计算公式如下式所示:
;
式中:表示t时刻用户计算任务卸载到第n个用户的用户本地设备计算时,完成用户计算任务所需的能耗;表示第n个用户的用户本地设备的电容参数;表示第n个用户的用户本地设备的GPU 的动态功耗;
当用户计算任务卸载到低地轨道卫星时,需要考虑星地链路传播时延、数据传输时延以及用户计算任务的计算时延,时延的计算公式如下式所示:;
式中:表示t时刻用户计算任务卸载到低地轨道卫星计算时,完成用户计算任务所需的时延;表示数据从第n个用户的用户本地设备传输到第m颗低地轨道卫星的数据传输时延;表示用户计算任务的计算时延;表示第m颗低地轨道卫星分配给用户计算任务的CPU计算能力;表示第m颗低地轨道卫星分配给用户计算任务的GPU计算能力;d表示低地轨道卫星与用户本地设备之间的距离,,表示光速;表示从地球到低地轨道卫星的往返传播时延;
能耗的计算公式如下式所示:
;
式中:表示t时刻用户计算任务卸载到第m颗低地轨道卫星计算时,完成用户计算任务所需的能耗;表示第n个用户的用户本地设备的传输能耗;表示第m颗低地轨道卫星的电容参数;表示第m颗低地轨道卫星的GPU动态功耗;
当用户计算任务卸载到远程云数据中心时,需要考虑数据通过低地轨道卫星中继,发送到远程云数据中心的数据传输时延,时延的计算公式如下式所示:;
式中:表示t时刻用户计算任务卸载到远程云数据中心计算时,完成用户计算任务所需的时延;表示数据通过第m颗低地轨道卫星中继,发送到远程云数据中心的数据传输时延;表示从地球经由低地轨道卫星到远程云数据中心的往返传播时延;
能耗的计算公式如下式所示:
;
式中:表示t时刻用户计算任务卸载到远程云数据中心计算时,完成用户计算任务所需的能耗;表示第m颗低地轨道卫星的传输能耗;结合所述卸载比例以及时延和能耗,建立时延模型和能耗模型,如下式所示:;
。
6.根据权利要求5所述的面向6G算力网络的计算卸载方法,其特征在于,所述用户服务质量感知成本如下式所示:;
式中:表示时延模型的权重;表示能耗模型的权重;,且;根据不同的用户本地设备的剩余电量情况,和的值设定如下式所示:;
式中:表示用户本地设备当前的电池电量百分比。
7.根据权利要求6所述的面向6G算力网络的计算卸载方法,其特征在于,以最小化用户与算力网络环境交互过程中的用户服务质量感知成本为目标,建立全局优化目标函数,包括:通过累加用户与算力网络环境交互过程中每一时刻的用户服务质量感知成本,得到全局优化目标函数如下式所示:;
式中:表示用户与算力网络环境交互的终止时刻;表示时刻的用户服务质量感知成本。
8.根据权利要求7所述的面向6G算力网络的计算卸载方法,其特征在于,求解所述全局优化目标函数的最优解,生成每个用户的最优卸载动作,包括:定义状态集合,用于描述t时刻各用户可能的所有状态;所述状态包括用户的用户计算任务信息、卸载决策以及低地轨道卫星的资源分配情况和卸载情况,t时刻状态集合如下式所示:;
其中,
;
式中:表示t时刻各用户的用户计算任务信息;表示t时刻第n个用户的用户计算任务任息;表示t时刻各用户当前的卸载决策;表示t时刻第n个用户的卸载决策;表示t时刻各低地轨道卫星的资源分配情况;表示t时刻第m颗低地轨道卫星的资源分配情况;表示t时刻各低地轨道卫星的负载情况;表示t时刻第m颗低地轨道卫星的负载情况;
其中,
;
式中:表示第n个用户的用户本地设备当前的电池电量百分比;和分别表示第m颗低地轨道卫星分配给用户的CPU计算资源和GPU计算资源;表示卸载到第m颗低地轨道卫星的用户数量;表示第m颗低地轨道卫星分配给第个用户的用户计算任务的CPU计算能力;表示第m颗低地轨道卫星分配给第个用户的用户计算任务的GPU计算能力;表示第m颗低地轨道卫星当前CPU的使用率;表示第m颗低地轨道卫星当前GPU的使用率;表示第m颗低地轨道卫星中当前排队的用户计算任务数量;
定义卸载动作集合,用于描述t时刻各用户在所述状态下采取的卸载动作,t时刻卸载动作集合如下式所示:;
其中,
;
式中:表示t时刻第n个用户的卸载动作;表示卸载的目标低地轨道卫星;
各用户采取的卸载动作、各低地轨道卫星的资源分配情况以及各低地轨道卫星的负载情况受到以下条件式的约束:;
;
;
;
;
;
式中:表示单个用户完成用户计算任务所需的时延;表示单个用户完成用户计算任务所需的能耗;表示低地轨道卫星的最大CPU计算能力;表示低地轨道卫星的最大GPU计算能力;
结合状态集合和卸载动作集合定义奖励函数,用于描述各用户在所述状态下采取卸载动作所获得的即时奖励,奖励函数定义为:;
式中:表示惩罚因子;
利用所述状态集合、卸载动作集合和奖励函数对深度学习模型进行训练,生成每个用户的最优卸载动作。
9.根据权利要求8所述的面向6G算力网络的计算卸载方法,其特征在于,所述利用所述状态集合、卸载动作集合和奖励函数对深度学习模型进行训练,包括:初始化状态集合、卸载动作集合、经验回放池、批量大小,折扣因子、软更新系数;
初始化Actor网络,使其与初始状态集合下各用户的卸载动作保证一致;其中,初始状态集合下,各用户仅选择将用户计算任务卸载到用户本地设备进行计算,低地轨道卫星和远程云数据中心的带宽资源、CPU和GPU计算资源均未分配;
初始化两个Critic网络和以及对应的目标网络,所述目标网络包括目标Actor网络和两个目标Critic网络;
其中,Actor网络用于根据当前状态集合生成卸载动作集合,;和是当前两个Critic网络计算的Q值,表示在状态集合下采取卸载动作集合所能获得的长期奖励;表示目标Actor网络生成的卸载动作集合;和分别表示两个目标Critic网络计算的Q值;
初始化训练轮数、每轮训练步数、延迟更新步长Z,所述训练步数为一轮训练中执行的时间步总数;
在每一轮训练开始时,重置状态集合为环境的初始状态集合,令;
在每个时间步中,首先每个用户根据当前Actor网络的策略选择初始的卸载动作集合,通过以下公式为初始的卸载动作集合添加高斯噪声得到实际的卸载动作集合:;
式中:代表均值为0、方差为的高斯噪声;
然后将实际的卸载动作集合作用于算力网络环境,记录当前状态集合、卸载动作集合、即时奖励、下一个状态集合以及布尔变量的取值,若当前状态集合是终止状态集合,取值为false;否则,取值为true,表示还有下一个状态集合;
将每个时间步产生的经验以的形式存入经验回放池,并更新当前状态集合,令;根据时序误差TD-error为每条经验分配优先级,选取对Actor和Critic网络更新最重要的经验进行训练,每条经验的TD-error由当前Critic网络计算的值与目标值之间的差距计算,如下式所示:;
其中,;
式中:表示第j条经验的时序误差TD-error;表示基于加入高斯噪声的卸载动作得到的目标值;和是目标网络计算的下一个状态集合的值,表示未来收益;min表示取最小值,避免值的过估计;是折扣因子,用来权衡当前的即时奖励和未来收益,表示未来收益的权重;
根据TD-error计算每条经验的采样概率,如下式所示:;
式中:表示第j条经验的采样概率;表示优先经验回放的超参数,控制TD-error对采样概率的影响;k表示经验回放池中所有经验的个数;表示对经验回放池中所有经验的时序误差TD-error绝对值进行次幂运算后再求和;
从经验回放池中按照优先级采样B条数据后,优化Critic网络的损失函数,通过以下损失函数更新Critic网络的参数和,使得Critic网络输出的更接近目标值:;
式中:表示对批量大小B进行平均,减少单条数据对更新的影响;表示重要性采样权重,用于修正优先采样带来的偏差;
若当前训练步数为延迟更新步长Z的整数倍,则利用以下策略梯度方法更新Actor网络的参数,选择最优的卸载动作从而最大化Critic网络计算的值:;
式中:表示Actor网络的策略梯度;表示期望;表示从经验回放池中采样;表示对卸载动作集合的梯度;表示Critic网络对卸载动作集合的导数,用来引导Actor网络学习更优的卸载动作;表示对Actor网络的参数的梯度;表示卸载动作集合关于参数的梯度表示;
在每轮训练完成后,基于以下软更新公式更新目标网络的参数和,使其逐步逼近当前Actor网络和Critic网络的参数、和,实现目标网络参数的平滑调整;
;
当所有训练轮次完成后得到训练好的深度学习模型。
10.一种电子终端,其特征在于,包括处理器与所述处理器连接的存储器,在所述存储器内存储有计算机程序,当所述计算机程序被所述处理器执行时,执行如权利要求1至9任一项所述的面向6G算力网络的计算卸载方法的步骤。