1.一种基于双延迟深度确定性策略梯度的智能计算迁移方法,其特征在于:所述方法包括如下步骤:
步骤1,构建由用户层和服务层组成的多用户计算迁移模型,计算得到用户层产生的计算任务总能耗;
步骤2,基于迁移决策、带宽资源分配及传输功率调节的联合考量,构建一个最小化所有计算任务总能耗的优化问题;
步骤3,构造包含两个独立评价网络的模型架构,并引入连续变量离散化运算,以提升策略探索的随机性,从而更好地生成全局最优计算迁移策略。
2.根据权利要求1所述的一种基于双延迟深度确定性策略梯度的智能计算迁移方法,其特征在于:步骤1中,用户层由用户设备构成,服务层部署有多个雾节点组成的雾节点集和一个控制器。
3.根据权利要求2所述的一种基于双延迟深度确定性策略梯度的智能计算迁移方法,其特征在于:步骤1中,定义用户集合为I={1,2,...,|I|},雾节点集合为J={0,1,2,...,|max
J|};用户设备i向雾节点发送的任务请求信息为(Di,Ti )。其中,Di表示用户设备i产生的max
计算任务数据大小,Ti 表示用户设备i对任务处理的最大容忍延迟;控制器根据该计算任务请求信息、雾节点可用带宽资源及最大可分配传输功率,生成能耗最小化计算迁移决策αij(αij∈{0,1}),当αij=0时,表示用户设备i的计算任务不在节点j处理;当αij=1时,表示用户设备i的计算任务在节点j处进行处理,其中j=0特指用户设备本身。
4.根据权利要求3所述的一种基于双延迟深度确定性策略梯度的智能计算迁移方法,其特征在于:步骤1中,包括如下分步骤:l
步骤1‑1,将用户设备i的CPU时钟频率定义为fi ,用户设备i处理一个比特计算任务所需的CPU周期数定义为Ci,其中i∈{1,2,...,|I|}。当计算任务选择在用户设备本身进行处理时,其对应的本地计算时间表示为:结合CMOS电路的性质,将本地计算的能量消耗 表示如下:l
其中,κ为与设备型号相关的有效电容系数,默认所有用户设备的电容系数相等,为一个固定常数;
步骤1‑2,将用户设备i至雾节点j(j∈{1,2,...,|J|})的上行传输速率表示如下:其中,Bij为雾节点j分配给用户设备i产生的计算任务的带宽资源大小, 为雾节点j分配给用户设备i产生的计算任务的传输功率大小,dij为用户设备i与雾节点j之间的距离,δ为无线信道的损耗系数, 为无线信道的信道增益;
由此表示出将用户设备i产生的计算任务迁移至雾节点j所需要的传输时延 和传输能耗
步骤1‑3,在雾节点j处理用户设备i产生的计算任务所需要的计算时间 和能量消耗表示如下:
f
其中,Cj表示雾节点j处理一个比特计算任务所需要的CPU周期数,fj 表示雾节点j的f
CPU时钟频率,κ为雾节点的有效电容系数。
步骤1‑4,根据上述得到的本地计算的能量消耗 传输能耗 和雾节点j处理用户设备i产生的计算任务所需要的能量消耗 将用户设备i所产生的计算任务的能量消耗表示为:
5.根据权利要求1所述的一种基于双延迟深度确定性策略梯度的智能计算迁移方法,其特征在于:步骤2中,结合物联网场景下的计算迁移决策αij、带宽资源分配Bij及传输功率大小 将最小化所有计算任务的总能耗作为优化目标,构建的优化问题P1以及约束条件具体如下所示:
P1:
l max
0≤fi≤fi
上述约束条件中:
约束一表示用户设备i产生的计算任务只能在一个节点处进行处理;
max
约束二表示用户设备i的任务完成时间不能够超过用户的最大容忍延迟Ti ;
约束三表示节点的带宽资源约束,即任意节点分配给所有在该节点进行处理的计算任务的带宽总和不得超过其自身可分配的带宽资源大小;
约束四表示传输功率的可调范围;
约束五表示本地用户设备的CPU时钟频率不得超过其上限。
约束六表示任务的计算迁移决策,取值为0或1。
6.根据权利要求5所述的一种基于双延迟深度确定性策略梯度的智能计算迁移方法,其特征在于:步骤2中,综合考虑用户最大容忍延迟的服务差异化,动态电压调节DVS技术,依据电压与CPU时钟频率呈线性相关的特性,对目标函数进行更新。
7.根据权利要求6所述的一种基于双延迟深度确定性策略梯度的智能计算迁移方法,其特征在于:目标函数的更新步骤为 ,根据约束条件二,得出 即l
由于本地计算的能耗 与用户设备的CPU时钟频率fi 成正相l *
关,出于最小化计算任务总能耗的目标,将最优CPU时钟频率(fi) 表示为:l *
依据所得(fi) ,将用户设备i所产生的计算任务的能量消耗Eij改写为E′ij,优化问题P1等效转换为优化问题P2,表示如下:P2:
约束二表示在雾节点执行用户设备i产生的计算任务所需的时间不得超过它的最大容max
忍延迟Ti ,其余约束条件的具体含义同上。
8.根据权利要求1所述的一种基于双延迟深度确定性策略梯度的智能计算迁移方法,其特征在于:步骤3中,构造的模型架构由Actor当前网络、Critic1当前网络、Critic2当前网络、Actor目标网络、Critic1目标网络、Critic2目标网络这六个网络构成;当模型架构中的智能体接收到雾节点上传的用户任务请求信息及可分配资源信息,分别运用Actor模块和Critic模块对策略函数和价值函数进行估量,以生成当前时隙的最优迁移决策及资源分配情况,并将其反馈给雾节点集。
9.根据权利要求8所述的一种基于双延迟深度确定性策略梯度的智能计算迁移方法,其特征在于:步骤3具体包括如下步骤:步骤3‑1,选择控制器作为智能体,负责收集、统计及更新不同时隙的状态信息,并与计算迁移环境进行交互,获得相对应的即时奖励;该智能体以最小化目标函数,即最大化累计奖励为目标,动态调整迁移策略,从而得出最优的计算迁移策略;
步骤3‑2,定义涉及的状态空间、动作空间及奖励函数分别如下:状态空间:在时隙t的状态st定义为在节点j处理用户设备i产生计算任务的能耗集合,即:
st={E′10(t),...,E′1|J|(t),...,E′|I|0(t),...,E′|I||J|(t)} (12)动作空间:结合优化对象,将控制器在时隙t探索到的动作at表示如下:其中,αij(t)表示用户计算任务的迁移决策集合,Bij(t)表示分配的带宽资源大小,表示调节的传输功率大小;
奖励函数:当智能体在状态st情况下选择动作at时,得到相对应的即时奖励rt;将满足约束条件的即时奖励定义为能耗的负值,相反地,则定义为与系统环境有关的惩罚项ζ(t),具体如下所示:
其中,E′ij(t)为用户设备i产生的计算任务在时隙t的能耗值, 表示将用户设备i产生的计算任务迁移至雾节点j所需要的传输时延, 表示雾节点j处理用户设备i产生的计算任务所需要的计算时间,ζ(t)<0;
步骤3‑3,考虑雾节点计算迁移决策之间的独立性和因变量的0‑1特性,给出离散动作对应的概率密度函数,表示为:
其中,p+q=1;依据所得连续动作[p,q]二元组的数值大小,对其进行连续变量离散化运算,即当p>q时,离散动作αij取值为1;相反地,取值为0;
步骤3‑4,引入探索噪声,具体表示如下:其中, γ为衰减因子。
10.根据权利要求9所述的一种基于双延迟深度确定性策略梯度的智能计算迁移方法,其特征在于:步骤3中,在时隙t时刻,首先为策略函数 引入探索噪声ε,接着Actor当前网络依据当前状态st选择执行动作at,并与计算迁移环境进行交互,以观测到相应的即时奖励rt及下一状态st+1,并将四元组(st,at,rt,st+1)存入经验回放池;而Actor目标网络则根据经验回放池中的下一状态st+1选择最优的下一动作at+1;最后,从六个网络共有的经验回放池随机选取K个样本数据,由Critic1当前网络和Critic2当前网络对当前动作下的价值函数 和 进行计算,并定期将网络参数ω1和ω2复制给Critic1目标网络和Critic2目标网络;
Critic1目标网络和Critic2目标网络负责计算各自的目标Q值y1m及y2m,并选取较小值作为最终的目标Q值ym,以降低因反复传播与累积造成的高估偏差,具体定义如下:ym=min(y1m,y2m) (19)根据所获得的目标Q值ym,以最小化各自当前网络的均方差损失函数为目标,利用神经网络的梯度反向传播来更新当前网络的相关参数ω1和ω2,并输出最终损失函数值Loss,表示如下:
其中,n=1与2;
通过对网络参数的不断学习和优化,最终控制器能够生成当前时隙的最优迁移决策及资源分配情况。