欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2021106009565
申请人: 南京邮电大学
专利类型:发明专利
专利状态:已下证
专利领域: 电通信技术
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.基于深度强化学习的无线供电系统的卸载策略方法,其特征在于:具体步骤包括如下:步骤1,建立能量采集环境下的多用户MEC系统模型;

步骤2,将多用户MEC系统模型转化为优化问题;

在步骤2中,所述建立的优化问题具体包括目标函数和约束条件;

其中,所述目标函数是:

式(1)为求出无线系统中计算的最大收益值,其中,po,i为卸载计算产生的收益;pL,i为本地计算产生的收益;h表示信道增益;xi表示设备i的卸载动作,xi=1表示将任务卸载至边缘服务器,此时设备i∈M1,xi=0表示将任务在本地进行计算,此时设备i∈M0;a表示设备i能量采集的时间;τi表示卸载情况下设备i的卸载时间;fi表示本地计算时设备i计算速度;

pi表示卸载计算时设备i的发射功率;

所述约束条件具体包括:

WDi在MEC卸载计算模式下的时间约束条件:

式中,i∈M1表示选择卸载计算的用户设备的序号,τi表示选择卸载计算的用户设备WDi卸载任务所花费的时间,a表示能量采集所花时间;设信道相干时间T为1,由于采用时分复用方式所以各部分时间之和小于信道相干时间;

WDi在本地计算模式下的能耗约束条件:

式中ki为处理器芯片的计算能效系数,fi代表本地处理器的处理速度,ti为执行本地计算任务所需时间,Ei为用户设备在能量采集阶段获得的能量,bi,p为电池在时隙开始时的电量,i∈M0表示选择本地计算的用户设备,此时xi=0;

WDi在MEC卸载计算模式下的能耗约束条件:

pi为用户设备WDi的发射功率,Ei为用户设备在能量采集阶段获得的能量,bi,p为电池在时隙开始时的电量,时隙结束后电池电量表示为bi,n,其中p,n用于区分时隙开始时电池电量和时隙结束后的电池电量,i∈M1表示选择卸载计算的用户设备,此时xi=1;

WDi的模式选择约束:

xi={0,1}                       (5)xi=1时无线用户设备将任务卸载到边缘服务器,xi=0时无线用户设备进行本地计算;

步骤3,将优化问题根据能量采集模式、本地计算模式和MEC卸载计算模式分解成三个子问题用以后续求解;

步骤4,构建深度强化学习框架,根据信道增益判断请求设备是否在本地完成计算任务,若是,则选择本地计算模式,计算完成后流程结束;若否,则继续执行后续步骤;

在步骤4中,卸载行为的产生依赖于DNN的使用;DNN的特征是其嵌入的参数θ,θ为连接隐藏神经元的权重;在第t个时间帧中,DNN以信道增益ht作为输入,根据θt参数化的当前卸载策略 θt为t时刻连接隐藏神经元的权重,输出一个松弛的卸载动作 每个条目松弛到0到1之间的连续值,然后将松弛的动作量化为K个二进制卸载动作,当卸载动作为0时代表设备在本地完成计算,否则代表设备将任务卸载至边缘服务器计算;

步骤5,选择卸载计算模式,再解决卸载计算模式下的资源分配优化问题;

在步骤5中,解决卸载计算模式下的资源分配优化问题具体为:通过设置电池电量的门限值对设备发射功率和用户设备计算能力作出预估计,将四变量优化问题转化为二变量优化问题,结合双段搜索算法和拉格朗日乘子法得到最优值;

步骤6,将获得的结果添加到深度强化学习框架的重放存储器中进行迭代。

2.根据权利要求1所述的基于深度强化学习的无线供电系统的卸载策略方法,其特征在于:在步骤1中,所建立能量采集环境下的多用户MEC系统模型包括一个集成无线供电传输功能和边缘服务器的混合接入点、N个请求设备。

3.根据权利要求1所述的基于深度强化学习的无线供电系统的卸载策略方法,其特征在于:对于步骤2,目标函数是为卸载计算产生的收益和本地计算产生的收益之和;

能量采集阶段本地设备获得的能量为:

Ei=μphiaT                      (6)其中μ∈(0,1)表示能量收获效率,P表示AP发射功率;利用收集的能量,每个WD需要在一个时间框架结束之前完成一个优先级计算任务;hi对应代表第i个设备的信道增益,T为信道相干时间;

本地计算时本地计算速度为:

WD在本地执行计算任务的同时,也能收到AP广播给它的能量Ei;假设当前设备中电池电量表示为bi,p,电池的最大容量为bmax,li表示为WDi在当前时隙开始时产生的任务比特数,fi≤fmax代表本地处理器的处理速度,表示为1秒钟CPU的周期数,0≤ti≤t为执行本地计算任务所需时间,为处理1bit任务所需周期数;所以ti时间内本地计算处理的任务量为 当3

时任务被视为丢弃,消耗的能量为kifiti,其中ki为处理器芯片的计算能效系数;

本地计算产生的收益为:

本地计算产生的收益为本地计算速率与为了防止电池深度放电产生的惩罚之和,当电池电量小于20%时,系统会产生一个惩罚,惩罚因子为γ;式中β也为惩罚因子,代表任务被丢弃产生的惩罚;

卸载计算时系统的传输速率为:

其中B表示通信带宽,N0表示接收器噪声功率;vu>1表示任务分流中的通信开销;pi表示第i个WD的发射功率;

卸载计算产生的收益是:

式(10)中, 为卸载计算时的传输速率,ρI(lo,i0.8((Ei+bi,p))为当电池消耗的电量超过总电量80%时产生的惩罚,其中惩罚因子分别为λ,γ。

4.根据权利要求1所述的基于深度强化学习的无线供电系统的卸载策略方法,其特征在于:在步骤6中,将获得的结果添加到深度强化学习框架的重放存储器中,从存储器中提取一批训练样本来训练,相应地更新其参数,生成新的卸载决策,此后,随着新的信道实现被观察到,通过该种迭代重复以改进卸载策略。