欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2021108353232
申请人: 湖北工业大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于深度强化学习的移动边缘计算任务分配方法,其特征在于,包括:S1:建立多边缘云协作移动边缘计算任务分配优化问题模型,其中,优化问题模型包括约束条件和目标,约束条件包括:每个参与终端设备计算的边缘云的计算任务比例在[0,1]之间,所有参与终端设备计算的边缘云的计算任务比例之和为1,为每个处理终端设备任务的边缘云所分配的计算资源在[0,F]之间;为所有处理终端设备任务的边缘云所分配的计算资源总和为F;目标为以延迟和能量消耗的总和最小化,其中,目标为以延迟和能量消耗的总和最小化包括:获取系统总能耗E(t)以及系统总时延T(t),根据系统总能耗和系统总时延获得系统完成计算任务所消耗的总成本为U(t)=w1E(t)+w2T(t),其中,w1和w2分别是能耗和时延的权重,且w1+w2=1;

通过联合计算任务 和计算资源 分配,构建多边缘云协作移动边缘计算任务分配优化问题模型,移动边缘计算任务分配优化问题模型的目标为最小化系统总成本,即:其中,F为每个边缘云最大的计算资源;

S2:将移动边缘计算任务分配问题建模为马尔可夫决策过程;

S3:将深度强化学习策略引入到移动边缘计算任务分配,通过观察当前时刻各终端设备计算任务完成情况,从历史经验中学习,选择下一时刻的最佳任务分配策略,以实现移动边缘计算任务的智能分配;

步骤S2将移动边缘计算任务分配问题转化为一个马尔可夫决策过程(S;A;p(s′|s,a);

r;π(a|s)),具体方式为:

状态空间S:当前时刻各终端设备任务数据大小Dm的集合;

动作空间A:计算任务 和计算资源 策略的集合;

转移概率p(s′|s,a):在任务状态s情况下,采用某一动作a时,状态s转变为下一状态s′的概率;

奖励r:控制中心采用某一动作a时,任务状态从s转移到下一任务状态s′获得的成本;

策略π(a|s):在任务状态s时,选择某一任务分配动作a的概率;

其中,定义累积奖励R为所有奖励r的累积,即:

rn表示在第n个时刻获得的奖励,γ为衰减因子且γ∈[0,1),衰减因子决定了未来奖励和当前时刻奖励的重要性;

步骤S3中定义状态s处选择任务分配策略a得到的期望奖励为状态‑动作值函数Q(s,a)=E[R|s,a],其中,E[·]为数学期望运算;

步骤S3中通过设计双延迟深度确定性策略梯度算法,以获得多边缘云的计算任务分配和计算资源管理的近似最优联合策略,双延迟深度确定性策略梯度算法由一个权重为μ的

1 2

actor网络和两个权重为θ 和θ的critic网络组成,actor网络和critic网络都包括各自的Online网络和Target网络,采用双延迟深度确定性策略梯度算法对模型进行训练,具体包括如下步骤:(1)初始化当前时刻中各终端设备的任务状态s;

(2)利用ε‑贪婪策略来选择计算任务和计算资源策略:以概率ε随机选择下一时刻计算任务和计算资源策略,以概率(1‑ε)选择满足最优Q(s,a,θ)的策略;

(3)在状态s下,选择计算任务和计算资源策略a,得到奖励r;

(4)状态s转移到下一状态s′;

(5)将上述信息保存在经验回放存储器D中;

(6)从经验回放存储器D中随机抽取mini‑batch样本;

(7)计算损失函数,借助梯度下降法获得最小损失函数,以更新Online actor网络权重

1 2

μ和两个Online critic网络权重θ和θ;

1 2

(8)间隔一定回合后,将Online actor网络权重μ和两个Online critic网络权重θ 和θ

1′ 2′

分别复制给相应的Target actor网络μ′和两个Target critic网络权重θ 和θ ;

(9)重复步骤(2)到步骤(8),得到训练好的模型,其中,训练好的模型用于得到计算任务分配和计算资源管理的近似最优联合策略。

2.如权利要求1所述的移动边缘计算任务分配方法,其特征在于,步骤S1包括:定义t时刻,第m个终端设备和控制中心之间的数据速率Rm(t):其中,移动边缘计算系统由M个终端设备、K个边缘云和1个控制中心组成,上行带宽Bu平均分配给每个终端设备,Pm是终端设备m的发射功率,hm(t)为第m个终端设备和控制中心之间的信道增益, 为边缘云端的噪声水平;

定义t时刻,第m个终端设备和控制中心之间的任务传输能耗Em(t):其中,Tm(t)为第m个终端设备和控制中心之间的任务传输延迟, Dm为任务数据大小,Rm(t)为任务数据的传输数据速率,Pr是控制中心的接收功率;

定义t时刻,第k个边缘云处理第m个终端设备任务的计算延迟其中, 为第k个边缘云参与第m个终端设备的计算任务比例, 为第k个边缘云处理第m个终端设备任务所分配的计算资源,Cm为第m个终端设备处理1bit任务所需的CPU周期数;

根据第m个终端设备和控制中心之间的任务传输延迟、第k个边缘云处理第m个终端设备任务所分配的计算资源,获得第k个边缘云处理第m个终端设备任务的能耗其中,κ≥0为有效的开关电容。