1.一种基于深度强化学习的时空充电调度方法,其特征在于,包括以下步骤:S1:构建无线可充电传感器网络模型,使得移动充电装置MC是具有自主移动能力和计算能力的独立设备,可自行规划充电序列和在移动过程中避障,由基站为MC补充能量;
S2:以最小化充电成本和减少节点死亡率为目标,设计基于深度强化学习的时空充电方案SCSDRL;
S3:使用SCSDRL算法生成充电序列后,根据MC当前位置坐标(xm,ym)和目标节点的二维坐标(xi,yi),使用Q‑learning算法规划路径,MC在移动过程中按照规划的路径避开障碍物访问每个节点为其进行一对一无线充电;
S4:完成一轮充电调度规划后,MC前往基站补充为自身补充能量,为下次调度做准备;
所述S2时空充电方案是:每个传感器节点可根据能耗速率计算自身剩余能量和平均剩余存活时间;当传感器节点剩余能量低于最小能量阈值时向基站发送充电请求,由MC首先根据充电请求中的节点信息进行充电序列的规划,再由规划的充电序列判断序列中的每个节点的平均剩余生存时间,通过后一节点的剩余生存时间动态调整前一节点的充电时间;
S3中的SCSDRL算法具体步骤为:首先根据t时刻待充电节点的请求集合D(t)=(Si,...,Sn;i=1,...,n‑1)为节点规划充电序列,引入深度强化学习DRL对充电序列进行优化,将问题抽象为马尔科夫决策过程MDP,其最优解视为一个决策序列,使用DRL通过增加解码序列的概率来逼近最优解;SCSDRL算法可由元组{S,A,R,S′}定义,S是状态空间;A为动作空间;R为MC 执行一个决策序列后的奖励;S′是执行动作后的环境状态;
在SCSDRL中,智能体是MC,负责做出充电决策;系统的状态空间包括基站和所有传感器节点的位置和待充电节点的能量需求,表示为S=Si,i=1,...,n; li给出了传感器节点i的二维坐标, 为其能量需求,为节点i的平均剩余生存时间,根据节点i的平均能耗率计算;
策略由表达式a=π(s)表示,是从输入状态S到输出动作a的映射,SCSDRL的目标是找出一种最优策略来规划MC的充电序列;
在SCSDRL中,为了提高WRSN的充电效率,包括通过优化MC的充电路径来避免传感器故障和降低充电成本,SCSDRL以MC的总行程长度和死节点数作为奖励信号,把奖励定义为:状态的具体更新过程如下:假设MC在0时刻位于基站B处;在每个步骤中,MC从传感器节点或基站B中选择下一步要访问的节点;访问传感器节点i后,更新传感器节点的需求和MC的剩余能量如下:
u
其次,SCSDRL中的网络模型为两个神经网络:其一是带有参数θ的Actor网络,其输出为Q
可选动作空间的动作概率分布,其二是带有参数θ的Critic网络;在当前WRSN环境下从MC执行动作序列中的动作a中得到一个奖励R;根据当前的统计数据从Critic网络中得到V值,进而更新Actor和具有R和V的误差准则函数的Critic网络;
接着,根据t时刻待充电节点的请求集合D(t)=(Si,...,Sn)为节点规划充电序列,引入深度强化学习对充电序列进行优化;将充电序列的规划抽象为VRP(Vehicle routing problem)问题,此类问题为NP‑hard问题,使用深度强化算法来接近最优解;
同时,由于随着充电时间的增加,电池接收的能量不是线性增加的,充电效率具有边际效应;若所有请求节点都进行完全充电,将影响充电效率;故在生成MC移动距离最短的充电序列后,判断为节点进行完全充电或部分充电,充电时间划分和电池获得能量计算如下:在充电序列的基础上动态调整每个节点的充电时长;
最后,基于策略梯度,使用预期奖励的梯度对策略参数的估计来迭代地改进策略使得奖励最大化,从而生成近似最优解。
2.如权利要求1所述的基于深度强化学习的时空充电调度方法,其特征在于:所述S1无线可充电传感器网络模型的构建是在规划好的有障碍物的目标区域内按需求部署一定数量的传感器节点,xi,0<i<n为传感器节点构成的集合,节点和障碍物固定且位置已知;
Cs为传感器节点电池最大容量,每个传感器节点装有相同容量的电池;Ei(t)表示节点i在当前时刻t的剩余电量;Si是包含位置、能量需求和剩余生存时间的元组,表示为li给出了传感器节点i的二维坐标, 为其能量需求;为节点i的平均剩余生存时间,根据节点i的平均能耗率计算;
D(t)=(Si,...,Sn)为t时刻待充电节点的请求集合;基站B按实际需求部署在合适的位置,网络中部署一个可移动充电装置MC在网络区域内可自由移动,携带电池容量为Cm;速度为vm/s;移动过程中的能耗为qmJ/m;在t时刻MC的剩余电量为Em(t);
整个无线可充电传感器网络部署在二维有障碍物的目标区域内,传感器节点负责收集和传输数据并将数据通过多跳的方式转发到基站,由基站负责存储数据,且基站B通过远距离通信与MC传输数据。
3.如权利要求1所述的基于深度强化学习的时空充电调度方法,其特征在于:所述S2的传感器节点的能耗模型为:
其中fi,j,1≤j≤n,kbps是节点i传输到节点j的数据;在t时刻节点的剩余能量为:传感器节点按照剩余能量分为两种状态,当剩余能量小于0时节点被标记死亡:节点计算出当前剩余能量后,当 时,节点i向基站发送充电请求,需要补充的能量为:
其中λ,0<λ≤1,为充电参数,决定MC是为节点i进行完全或部分充电。
4.如权利要求1所述的基于深度强化学习的时空充电调度方法,其特征在于:所述S2的MC的剩余能量计算公式为:
上式中La,i为上一节点a到当前节点i的距离,Lm,B为MC当前位置到基站B的距离,当MC剩余能量小于下一待充电节点能量需求与自身行驶消耗能量之和时停止为节点补。
5.如权利要求1所述的基于深度强化学习的时空充电调度方法,其特征在于:所述S3中用于规划路径的Q‑learning算法具体步骤为:首先将无线可充电传感网区域转化为二维网格地图,其中基站、传感器节点、MC的位置均已知;将路径规划问题抽象为马尔科夫决策过程,由元组{Sp,Ap,Rp,S′p}定义,Sp是状态空间;Ap为动作空间;Rp为MC执行该动作后的奖励;S′p为执行后的环境状态;将目标位置奖励设置为最大正奖励,将障碍物和其他节点位置设置为最大负奖励,通过Q函数进行学习;求解最优路径就是求得一条到达终点获得最大奖励的策略,最优价值动作函数定义为:* *
Q(s,a)=maxπQ(s,a)*
=∑s′P(s′|s,a)(R(s,a,s′)+γmaxa′Q(s′,a′))根据Q值进行学习,采用时间差分方法进行Q‑table的更新,更新过程如下:Q(s,a)←Q(s,a)+α[r+γmaxa′Q(s′,a′)‑Q(s,a)]通过Q‑learning算法为MC规划出避开障碍物到达目标节点的路径,并自行避开障碍物移动到节点位置为其进行一对一无线充电。