1.一种基于深度强化学习的元宇宙任务卸载与资源调度方法,其特征在于,包括如下步骤:步骤一、在用户密集区域投放无人机集群,基于笛卡尔坐标系,固定边缘服务器获取自身、各个用户和各个无人机的位置坐标;
步骤二、用户通过无人机集群向固定边缘服务器发送渲染请求;
步骤三、构建优化目标,并将所述优化目标转换为马尔科夫决策过程,通过PPO算法对所述优化目标求解,获得无人机的水平飞行速率、飞行方向、竖直方向速率和边缘设备可用的计算资源集合;
所述优化目标为:
;
;
;
;
;
式中,为帧延迟权重,为用户的帧延迟,为用户的数量,为能耗的权重,为用户的系统能耗,为边缘设备分配给用户的计算资源比例,为边缘设备和用户之间的分配系数,为用户或边缘设备和用户或边缘设备间的距离,为用户或边缘设备在时刻的位置坐标,为用户和无人机的可移动区域边界,为用户集合,为边缘设备集合,边缘设备集合包含无人机集合和固定的边缘服务器;
步骤四、固定边缘服务器将决策结果下发至用户和无人机,用户和无人机执行决策;
步骤五、所述无人机完成渲染任务后,将结果回传至用户。
2.如权利要求1所述的基于深度强化学习的元宇宙任务卸载与资源调度方法,其特征在于,所述用户的位置坐标更新满足:;
式中,为无人机在时刻的位置坐标,为无人机在时刻的水平速率,为无人机在时刻的方向,,为无人机在时刻的竖直方向速率,为从时刻到时刻的时间段长度,为无人机在时刻的位置坐标。
3.如权利要求2所述的基于深度强化学习的元宇宙任务卸载与资源调度方法,其特征在于,所述用户的帧延迟满足:;
式中,为渲染延迟,为传输延迟。
4.如权利要求3所述的基于深度强化学习的元宇宙任务卸载与资源调度方法,其特征在于,所述渲染延迟满足:;
式中,为边缘设备处理单位数据所需要消耗的计算资源, 是用户卸载到边缘设备的帧大小,为边缘设备可用的计算资源。
5.如权利要求4所述的基于深度强化学习的元宇宙任务卸载与资源调度方法,其特征在于,所述传输延迟满足:;
式中,为边缘设备和用户之间的通信速率;
所述边缘设备和用户之间的通信速率满足:;
式中,为边缘设备的带宽,为边缘设备的功率,为信道增益系数,为边缘设备和用户之间的距离,为噪音功率。
6.如权利要求5所述的基于深度强化学习的元宇宙任务卸载与资源调度方法,其特征在于,所述用户的系统能耗满足:;
式中,为传输能量,为渲染能量。
7.如权利要求6所述的基于深度强化学习的元宇宙任务卸载与资源调度方法,其特征在于,所述传输能量满足:;
式中,为边缘设备的传输功率。
8.如权利要求7所述的基于深度强化学习的元宇宙任务卸载与资源调度方法,其特征在于,所述渲染能量满足:;
式中,为边缘设备的功率因子。
9.如权利要求8所述的基于深度强化学习的元宇宙任务卸载与资源调度方法,其特征在于,将所述优化目标转换为马尔科夫决策过程具体包括:状态空间 :;
动作空间 :;
奖励函数 :;
其中,为时刻的状态空间, 为时刻用户和无人机位置集合,为用户和无人机的电量集合,为用户的任务数据量集合,为边缘设备可用的计算资源集合,为时刻的动作空间,为时刻无人机飞行动作的集合,为用户任务的卸载决策集合,为时刻的奖励函数。
10.如权利要求9所述的基于深度强化学习的元宇宙任务卸载与资源调度方法,其特征在于,所述PPO算法具体包括如下步骤:步骤1、初始化策略网络的网络参数、价值网络的网络参数和经验池;
步骤2、固定边缘服务器通过当前策略与环境交互,记录轨迹数据并存储于经验池中;
其中,为第次迭代的策略函数,表示参数为的策略网络输出的策略,为迭代轮次,为在时刻的环境状态;
步骤3、对于经验池中的每条轨迹,计算实际观测的累计回报:;
式中,为单次采样时间步数,为步折扣因子的次幂,为在时刻获得的即时奖励;
步骤4、使用优势估计方法,基于价值网络直接预测的状态值函数计算优势函数:;
式中,为动作值函数,且满足:
;
式中,为折扣因子,为超参数,,用于控制偏差-方差权衡,为时刻的时序差分误差,其中表示当前时刻,表示从当前时刻开始的步数偏移量;
步骤5、利用梯度下降法对策略网络的网络参数进行更新,目标是最大化目标函数;
所述目标函数为:
;
式中,为目标函数,为期望,为当前策略和旧策略的概率比,为优势函数,为裁剪函数,为裁剪范围;
策略网络的网络参数更新满足:
;
式中,为第步时经验池的大小;
步骤6、使用梯度下降法更新值函数参数:;
式中,为价值网络的损失函数,为第次迭代后更新的价值网络参数。