欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2021107612583
申请人: 河海大学
专利类型:发明专利
专利状态:已下证
专利领域: 电通信技术
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种工业物联网中协作式任务卸载和资源分配的联合优化方法,其特征在于,具体步骤如下:

步骤1:设置系统模型的各参数;

1.1设置网络模型:网络分为三层,从下到上分别为IIoT设备层、边缘层和云层,其中,IIoT设备层包含多种类型的IIoT设备,每个IIoT设备用符号u表示,IIoT设备周期性地采集环境数据,并生成计算密集和延迟敏感型任务;每个IIoT设备通过无线网络接入到本地BS;

每个IIoT设备配有一个电池,采用有线或无线充电的方式为设备提供电能;边缘层包含M个BS和一个SDN控制器,每个BS用符号m表示,每个BSm上配备了一个ECS,每个ECS也用符号m表示,计算能力为fm,负责为IIoT设备提供边缘计算资源;每个BS通过光纤链路连接到SDN控制器,用符号s表示,SDN控制器通过核心骨干网连接到云层;SDN控制器负责收集环境状态信息,并为每个IIoT设备做出任务卸载和资源分配决策;云层包含多个计算能力充足的CCSs,用符号c表示,计算能力为fc;

1.2将整个时间轴划分为T个长度相同的时隙,t∈T表示时隙索引,且采用准静态模型,即在一个时隙内,所有环境状态参数保持不变,而不同时隙参数不同;

1.3设置任务卸载模型:在每个时隙t,每个BS m中的每个IIoT设备u会随机产生一个计算任务 其中 表示任务输入数据大小, 表示任务计算量, 表示任务的最大容许延迟;定义在时隙t在BS m内产生计算任务的所有IIoT设备的集合为 对应数量为 采用协作式部分卸载方案,即假设每个任务被分成多个子任务;首先,需要确定IIoT设备本地是否有足够的计算资源,若有,IIoT设备将本地处理整个任务;否则,IIoT设备将根据自身的计算能力处理部分任务,同时将剩余任务卸载到本地ECS;本地ECS在收到卸载任务后,也将根据自身的计算能力处理部分任务,然后,将剩余任务卸载到某个非本地ECS或者CCSs上;定义在时隙t在BS m内的IIoT设备 的卸载决策为 其中 表示将任务从IIoT设备u卸载到本地ECS m的任务卸载比例, 表示将任务从本地ECS m卸载到某个非本地ECS n∈{M\{m}}的任务卸载比例,且每个本地ECS一次只能选择一个非本地ECS来执行协作式边缘计算, [0,1]表示将任务从本地ECSm卸载到CCSs c的任务卸载比例;

1.4设置通信模型:假设每个BS工作在相同的频带上,且频带宽度为Bw;采用正交频分复用技术将频带宽度Bw划分成多个正交子信道;定义在时隙t在BS m内的IIoT设备u的带宽资源分配决策为 当设备u本地执行整个任务时,则无需为其分配带宽资源,即 定义在时隙t内IIoT设备u与本地BS m之间的上行SNR值为 且其中, 表示IIoT设备u的发射功率, 友示BS m与IIoT设备u之间的信道增2

益,σ表示加性高斯白噪声的方差;定义在时隙t内IIoT设备u与本地BS m之间的上行数据传输速率为 且

定义每个BS m和SDN控制器s之间的数据传输速率均为常数θm,s,SDN控制器s和CCSs c之间的数据传输速率为常数θs,c,且θm,s>θs,c;

1.5设置计算模型:采用四种计算模型,即本地计算模型、本地边缘计算模型、协作式边缘计算模型和云计算模型,其中

1.5.1本地计算模型:定义在BS m内的IIoT设备u的计算能力为 当任务 在IIoT设备u上本地执行时,任务的执行延迟为

1.5.2本地边缘计算模型:当IIoT设备u的计算资源不足时,设备u将部分任务卸载到本地ECS m上,所需要的上行传输延迟为然后,定义在时隙t本地ECS m为部分任务所分配的计算资源为 因此,在本地ECS m上的任务计算延迟为

1.5.3协作式边缘计算模型:当本地ECS m的计算资源不足时,将部分任务卸载到某个非本地ECS n上,以平衡ECS的工作负载;定义在时隙t本地ECS m将部分任务卸载到某个非本地ECS n的传输延迟为

定义在时隙t某个非本地ECS n为部分任务所分配的计算资源为 因此,在非本地ECS n上的任务计算延迟为

1.5.4云计算模型:当所有ECS上的计算资源均不足时,本地ECS m需要将部分任务进一步卸载到CCSs c上执行,以充分利用CCSs的丰富计算资源;定义在时隙t本地ECS m将部分任务卸载到CCSs c的传输延迟为因此,在CCSs c上的任务计算延迟为由于任务计算结果的数据大小通常较小,因此忽略了任务计算结果的下载延迟。定义在时隙t任务 的总执行延迟为

1.6设置能量模型:当任务 在IIoT设备u上本地执行时,设备u的计算能耗为其中, 表示IIoT设备u每执行一个CPU周期所消耗的能量;然后,当IIoT设备u将部分任务卸载到本地ECS上时,设备u的通信能耗为因此,在时隙t内IIoT设备u的总能耗为然后,将充电过程建模为连续到达的能量包,定义在时隙t设备u所获得的能量为设备u的最大电池容量为 因此在下一个时隙t+1设备u的剩余电池电量为步骤2:采用CTORA算法来为每个IIoT设备做出最优决策,目标是最小化长期系统总成本,包括延迟成本和能耗成本。

2.根据权利要求1所述的工业物联网中协作式任务卸载和资源分配的联合优化方法,其特征在于,所述步骤2中算法的具体步骤如下:

2.1将协作式任务卸载和资源分配问题描述为一个带约束的马尔可夫决策过程,优化目标是最大化系统的长期累积折扣奖励;该过程用一个五元组来表示,其中t

S表示状态空间:在时隙t,SDN控制器负责收集系统的状态s∈S,包括每个IIoT设备u的任务参数 每个设备u的计算能力 每个设备u的发射功率每个设备u的上行SNR值 每个设备u每执行一个CPU周期所消耗的能量每个设备u的剩余电池电量 每个设备u所获得的能量 每个设备u的最大电池容量为 每个BS的总带宽Bw、每个ECS m的计算能力fm、CCSs c的计算能力fc、每个BS m和SDN控制器s之间的数据传输速率θm,s、SDN控制器s和CCSs c之间的数据传输速率θs,c;

t t

A表示动作空间:在接收到系统状态s之后,智能体将选择一个动作a∈A来做出任务卸载和资源分配决策,包括每个设备u的卸载决策 每个设备u的带宽资源分配决策 每个设备u的本地计算资源分配决策 每个设备u的非本地计算资源分配决策

t t t t t

R表示奖励:在当前状态s下执行动作a之后,智能体会收到一个即时奖励R(s,a),且即系统总成本越大,奖励值越小;

t t t

Pr表示状态转移概率:智能体从当前状态s 下执行动作a 之后,系统转移到下一状态s+1

的概率,且

t

C表示约束条件:智能体在每个时隙t所选择的动作a需要满足如下约束(17)‑(27),

2.2采用CTORA算法来为每个IIoT设备做出任务卸载和资源分配决策;CTORA算法框架包括三个模块:评估网络、目标网络和经验重放池;评估网络包括一个评估actor网络πμ和一个评估critic网络Dψ,目标网络包括一个目标actor网络 和一个目标critic网络πμ表示所估计的策略函数,用于选择动作;Dψ表示所估计的软状态动作回报的分布函数,用于指导πμ的参数更新; 表示目标策略函数, 表示软状态动作回报的目标分布函数;通过最小化损失函数来训练Dψ的参数ψ,使得所估计的分布函数接近目标分布函数;通过最大化策略πμ的软Q值来更新πμ的参数μ;经验重放池负责存储每个时间步的经验样本,并通过在每个重放周期内随机抽取一定数量的样本来训练参数ψ和μ;

CTORA算法包括两个阶段,即训练阶段和执行阶段,其中训练阶段如下:

2.2.1在算法的初始化阶段:初始化评估actor网络πμ的参数μ、评估critic网络Dψ的参数ψ、目标actor网络 的参数 目标critic网络 的参数 episode的总数NE、每个episode所包含的时间步数量NS、经验重放池的存储容量RS、经验重放周期RP、抽样批量大小Z、折扣因子γ、熵权重α、预设最小熵阈值 目标网络的平滑系数θ、μ、α、 和更新周期UP、学习率λψ、λμ以及λα;定义episode和时间步的索引分别为ne和t,初始化ne=1,t=1;

2.2.2当ne∈{1,2,...,NE}时,执行2.2.3;

2.2.3当t∈{1,2,...,NS}时,执行2.2.4;

t

2.2.4收集当前的系统状态s并输入到评估actor网络πμ中,从而输出满足约束的所有t t t

可能连续动作的概率分布πμ(·|s);然后,基于πμ(·|s)来随机选择一个动作a并执行;

t t t t

2.2.5在执行动作a之后,SDN控制器获得了一个即时奖励R (s ,a),并转移到下一个状t+1 t t t t t t t+1态s ,然后将经验样本e=(s,a,R(s,a),s )存储到经验重放池中;

2.2.6如果 则令t←t+1,并返回2.2.3;否则,执行2.2.7;

2.2.7如果t%RP==0,则执行2.2.8;

2.2.8采用优先级经验重放技术来从经验重放池中抽取Z个样本,具体步骤为:i i i i i i i+1

2.2.8.1假设经验重放池中某个经验样本为e=(s,a ,R (s,a),s ),定义该经验样i

本e的优先级为

i i

P=|δ|+∈,    (28)i

其中,∈>0用于确保每个样本的优先级不为0,δ表示该样本的时间差分(Temporal i

Difference,TD)误差,即该样本的目标软Q值与估计软Q值之差,根据软贝尔曼方程,样本e的目标软Q值写成

i+1

其中,根据目标actor网络 来选择动作a ,并根据 来i i

计算 因此,样本e的TD误差δ为i i i i i

其中,根据评估actor网络πμ(·|s)来选择动作a,并根据E[Dψ(s ,a)]来计算样本e的i i

估计软Q值Qψ(s,a);通过公式(28)‑(30)来计算出经验重放池中所有样本的优先级;

2.8.2.2采用Sum Tree数据结构来从经验重放池中抽取Z个经验样本,其中最底层的每个叶节点表示每个经验样本的优先级,每个父节点的值等于两个子节点的值之和,最顶层的根节点表示所有样本的优先级之和,每个叶节点下方的括号内容表示该叶节点对应的查询区间,优先级越大的叶节点,包含的区间越宽,被抽取到的可能性更大;具体采样过程为:首先,将根节点的值除以Z,得到Z个优先级区间,然后在每个区间内随机选择一个值,通过自上而下的搜索来判断该值对应于最底层的哪一个叶节点,并选择该叶节点所对应的样本,从而获得Z个经验样本;

2.2.9在软策略评估阶段,定义损失函数Loss(ψ)来训练参数ψ,且其中,KL[A||B]表示Kullback‑Leibler散度,用来衡量两个概率分布之间的差异,根据分布式贝尔曼方程, 写成

然后,采用小批量梯度下降法来最小化Loss(ψ);为了解决梯度爆炸问题,将t t

的软状态动作回报的取值范围限制在 的期望值Qψ(s ,a )附近;参数ψ的更新公式为

2.2.10如果t%UP==0,则执行2.2.11;

2.2.11在软策略提升阶段,定义目标函数J(μ)来训练参数μ,且t t t t

J(μ)=E[Qψ(s,a)‑α logπμ(a|s)],   (34)t t t t

其中,根据E[Dψ(s ,a)]来计算Qψ(s ,a);然后,通过最大化J(μ)来训练参数μ;为了减少梯度估计方差,采用重参数化技巧来计算梯度值 首先从一个已知分布中随机取t t t

样一个样本ξ;然后,使用ξ和参数μ来计算a(即对策略πμ进行重参数化),且t t t

a=fμ(ξ;s);   (35)目标函数J(μ)写成

t t t t t t

J(μ)=E[Qψ(s,fμ(ξ;s))‑αlogπμ(fμ(ξ;s)|s)];    (36)参数μ的更新公式为

2.2.12采用自适应梯度方法来调整熵权重α;当最佳动作未确定时,α必须足够大以鼓励探索,随着探索的深入,α应该逐渐减小;通过最小化目标函数J(α)来更新权重α,且其中, 表示预设的最小熵阈值。因此,权重α的更新公式为

2.2.13为了提高学习稳定性,通过缓慢跟踪评估网络的参数来更新目标网络的参数和 即

其中,θ表示目标网络的平滑系数,满足θ∈(0,1)且θ<<1;

*

在完成CTORA算法的训练过程之后,获得了评估actor网络的最优权重μ,然后将训练好的评估actor网络 部署到SDN控制器上,执行过程如下:

2.2.14当t∈{1,2,...,T}时,执行2.2.15;

t t

2.2.15SDN控制器收集当前的系统状态s ,然后将s输入到训练好的评估actor网络中,输出所有可能连续动作的概率分布 然后,基于 来随机选择一个动作t

a并执行;

t t t t

2.2.16执行动作a 之后,SDN控制器获得了一个即时奖励R (s ,a),并且转移到下一个t+1

状态s 。