欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2021114222642
申请人: 南京邮电大学
专利类型:发明专利
专利状态:已下证
专利领域: 电通信技术
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于Q学习的边缘卸载资源分配方法,其特征在于,包括:获取MEC系统当前环境的参数以及系统中的用户参数;

基于获取到的参数,采用预设的分配方法计算得到使得用户移动设备整体能耗最小时的最优资源分配策略,将其作为最优的资源分配方案;

其中,采用预设的分配方法计算得到使得用户移动设备整体能耗最小的资源分配策略包括:根据获取到的参数初始化Q学习算法的任务卸载和资源分配联合优化任务的卸载策略集合、状态空间S和动作空间A;

其中,所述根据获取到的参数初始化Q学习算法的任务卸载和资源分配联合优化任务的状态空间S,包括:每个CPU的状态为s=(i,e,ch,m),其中,i表示当前待卸载的子任务,满足,V表示当前卸载子任务的集合;e表示待卸载子任务计算量大小,满足,ε表示卸载子任务的计算量大小的集合;ch表示用户移动设备选择所处信道,满足,Ch表示移动设备所处信道的集合;m表示当前任务由本地处理或由MEC系统处理,当前任务由本地处理-CPU0,当前任务由MEC系统处理-CPUm,满足,M表示MEC系统中CPU总数;状态空间S为全部CPU的状态的集合,表示为S={ s=(i,e,ch,m)};

其中,所述根据获取到的参数初始化Q学习算法的任务卸载和资源分配联合优化任务的动作空间A,包括:每个当前待卸载的子任务在状态下采取的动作为,则动作空间A为全部动作的集合,表示为;

以保证用户计算任务完成时间为条件,以用户移动设备整体能耗最小为目标,对预先构建的Q函数进行迭代优化,得到与用户完成计算任务时间同步的状态空间及其对应的最优动作;

其中,所述预先构建的Q函数,通过下式表示:

(1)

式(1)中,Rw(s,a)表示每一状态动作下的奖励函数,δ表示每一轮迭代的衰减因子;

其中,所述对预先构建的Q函数进行迭代优化,通过下式表示:(2)

式(2)中,i表示当前待卸载的子任务;j表示完成子任务i后下一个待卸载的子任务;t表示从当前待卸载的子任务i到下一个待卸载的子任务j的传输时间;a和b表示子任务不同状态下采取的动作;为Q学习的学习速率,若的值等于0,则Q学习算法退化为贪心策略;

式(2)中,表示平均开销,通过下式表示:

(3)

式(3)中,表示加权因子,表示全部任务所需要的总能耗,表示整体任务完成时间,通过下式表示:(4)

(5)

用户移动设备整体能耗包括卸载开销、本地开销通过下式表示:(6)

式(2)中,表示卸载开销,表示本地执行开销,其中表示系统状态,表示当前状态下采取的动作;

根据得到的状态空间及其对应的最优动作计算得到用户移动设备整体能耗最小时的最优资源分配策略;

其中,根据得到的状态空间及其对应的最优动作计算得到用户移动设备整体能耗最小时的最优资源分配策略,通过下式计算:(7)

式(7)中,表示每一状态动作下的奖励函数,δ表示每一轮迭代的衰减因子。

2.一种基于Q学习的边缘卸载资源分配系统,用于执行权利要求1所述的基于Q学习的边缘卸载资源分配方法,其特征在于,包括:获取模块:用于获取MEC系统当前环境的参数以及系统中的用户参数;

优化计算模块:用于基于获取到的参数,采用预设的分配方法计算得到使得用户移动设备整体能耗最小时的最优资源分配策略,将其作为最优的资源分配方案;

其中,优化计算模块包括:

初始化模块:用于根据获取到的参数初始化Q学习算法的任务卸载和资源分配联合优化任务的卸载策略集合、状态空间S和动作空间A;

第一计算模块:用于以保证用户计算任务完成时间为条件,以用户移动设备整体能耗最小为目标,对预先构建的Q函数进行迭代优化得到与用户完成计算任务时间同步的状态空间及其对应的最优动作;

第二计算模块:用于根据得到的状态空间及其对应的最优动作计算得到用户移动设备整体能耗最小时的最优资源分配策略。

3.一种基于Q学习的边缘卸载资源分配装置,其特征在于,包括处理器及存储介质;

所述存储介质用于存储指令;

所述处理器用于根据所述指令进行操作以执行权利要求1所述方法的步骤。

4.计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求1所述方法的步骤。