欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2025108387383
申请人: 吉林大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于深度强化学习的元宇宙任务卸载与资源调度方法,其特征在于,包括如下步骤:步骤一、在用户密集区域投放无人机集群,基于笛卡尔坐标系,固定边缘服务器获取自身、各个用户和各个无人机的位置坐标;

步骤二、用户通过无人机集群向固定边缘服务器发送渲染请求;

步骤三、构建优化目标,并将所述优化目标转换为马尔科夫决策过程,通过PPO算法对所述优化目标求解,获得无人机的水平飞行速率、飞行方向、竖直方向速率和边缘设备可用的计算资源集合;

所述优化目标为:

;

;

;

;

;

式中,为帧延迟权重,为用户的帧延迟,为用户的数量,为能耗的权重,为用户的系统能耗,为边缘设备分配给用户的计算资源比例,为边缘设备和用户之间的分配系数,为用户或边缘设备和用户或边缘设备间的距离,为用户或边缘设备在时刻的位置坐标,为用户和无人机的可移动区域边界,为用户集合,为边缘设备集合,边缘设备集合包含无人机集合和固定的边缘服务器;

步骤四、固定边缘服务器将决策结果下发至用户和无人机,用户和无人机执行决策;

步骤五、所述无人机完成渲染任务后,将结果回传至用户。

2.如权利要求1所述的基于深度强化学习的元宇宙任务卸载与资源调度方法,其特征在于,所述用户的位置坐标更新满足:;

式中,为无人机在时刻的位置坐标,为无人机在时刻的水平速率,为无人机在时刻的方向,,为无人机在时刻的竖直方向速率,为从时刻到时刻的时间段长度,为无人机在时刻的位置坐标。

3.如权利要求2所述的基于深度强化学习的元宇宙任务卸载与资源调度方法,其特征在于,所述用户的帧延迟满足:;

式中,为渲染延迟,为传输延迟。

4.如权利要求3所述的基于深度强化学习的元宇宙任务卸载与资源调度方法,其特征在于,所述渲染延迟满足:;

式中,为边缘设备处理单位数据所需要消耗的计算资源, 是用户卸载到边缘设备的帧大小,为边缘设备可用的计算资源。

5.如权利要求4所述的基于深度强化学习的元宇宙任务卸载与资源调度方法,其特征在于,所述传输延迟满足:;

式中,为边缘设备和用户之间的通信速率;

所述边缘设备和用户之间的通信速率满足:;

式中,为边缘设备的带宽,为边缘设备的功率,为信道增益系数,为边缘设备和用户之间的距离,为噪音功率。

6.如权利要求5所述的基于深度强化学习的元宇宙任务卸载与资源调度方法,其特征在于,所述用户的系统能耗满足:;

式中,为传输能量,为渲染能量。

7.如权利要求6所述的基于深度强化学习的元宇宙任务卸载与资源调度方法,其特征在于,所述传输能量满足:;

式中,为边缘设备的传输功率。

8.如权利要求7所述的基于深度强化学习的元宇宙任务卸载与资源调度方法,其特征在于,所述渲染能量满足:;

式中,为边缘设备的功率因子。

9.如权利要求8所述的基于深度强化学习的元宇宙任务卸载与资源调度方法,其特征在于,将所述优化目标转换为马尔科夫决策过程具体包括:状态空间 :;

动作空间 :;

奖励函数 :;

其中,为时刻的状态空间, 为时刻用户和无人机位置集合,为用户和无人机的电量集合,为用户的任务数据量集合,为边缘设备可用的计算资源集合,为时刻的动作空间,为时刻无人机飞行动作的集合,为用户任务的卸载决策集合,为时刻的奖励函数。

10.如权利要求9所述的基于深度强化学习的元宇宙任务卸载与资源调度方法,其特征在于,所述PPO算法具体包括如下步骤:步骤1、初始化策略网络的网络参数、价值网络的网络参数和经验池;

步骤2、固定边缘服务器通过当前策略与环境交互,记录轨迹数据并存储于经验池中;

其中,为第次迭代的策略函数,表示参数为的策略网络输出的策略,为迭代轮次,为在时刻的环境状态;

步骤3、对于经验池中的每条轨迹,计算实际观测的累计回报:;

式中,为单次采样时间步数,为步折扣因子的次幂,为在时刻获得的即时奖励;

步骤4、使用优势估计方法,基于价值网络直接预测的状态值函数计算优势函数:;

式中,为动作值函数,且满足:

;

式中,为折扣因子,为超参数,,用于控制偏差-方差权衡,为时刻的时序差分误差,其中表示当前时刻,表示从当前时刻开始的步数偏移量;

步骤5、利用梯度下降法对策略网络的网络参数进行更新,目标是最大化目标函数;

所述目标函数为:

;

式中,为目标函数,为期望,为当前策略和旧策略的概率比,为优势函数,为裁剪函数,为裁剪范围;

策略网络的网络参数更新满足:

;

式中,为第步时经验池的大小;

步骤6、使用梯度下降法更新值函数参数:;

式中,为价值网络的损失函数,为第次迭代后更新的价值网络参数。