1.一种基于深度强化学习的多充电器载体分离充电方法,其特征在于,包括以下步骤:S1:在一个二维平面上,构建无线可充电传感器模型;该模型包括:具有远距离通信功能的基站(Base Station,BS);携带m个便携式无线充电器,具有装载‑卸载功能、通信功能和计算功能的MCV;服务站(Service Station,SS),其能够为MCV和无线充电器补充能量;n个同质化传感器节点;
S2:以最小化死亡节点数和MCV的移动距离为目标,建立目标优化模型,并设计基于深度强化学习的多充电器载体分离充电方案(CSMCSDRL);
S3:MCV通过CSMCSDRL算法选择移动到目标网络中的传感器节点处放置无线充电器为其充电,或选择移动到完成充电任务的无线充电器节点处回收充电器;
S4:当MCV的剩余能量不足以支持其进行下一步动作后回收所有无线充电器回到服务站或所有无线充电器的剩余能量达到阈值时,MCV回收所有无线充电器返回服务站进行能量补充,为下一轮充电调度做准备;否则,执行步骤S3。
2.根据权利要求1所述一种基于深度强化学习的多充电器载体分离充电方法,其特征在于,所述S1中基站部署在二维平面中间。
3.根据权利要求1所述一种基于深度强化学习的多充电器载体分离充电方法,其特征在于,所述S1中传感器节点电池最大容量为Es,节点i在时隙t时的能耗模型为:式中,fk,i(fi,j)(1
fi,Bkbps为从传感器节点i传输到基站的数据流;ρ是接收1kb/s数据的能耗;ci,j(ci,B)为传感器节点i向传感器节点j(BS)传输1kb/s数据时的功耗,且 其中β为能量消耗因子,di,j为传感器节点i,j之间的距离;γ为信号衰减因子,其值的取值与很多因素有关,例如传感器节点部署贴近地面时,障碍物多、干扰大,γ的取值就越大,这里取γ的值为3;
ep和es分别为传感器节点中处理器模块和传感器模块的能耗;那么,在时隙t,传感器节点i的剩余能量为:则在时隙t,传感器节点i的能量需求为:
上式中,λ(0<λ≤1)为充电系数,λEs为传感器节点的充电上限;
当传感器节点的剩余能量小于阈值SEth时,其向基站发出充电请求 其
中xi和yi分别为传感器节点的横坐标和纵坐标, 为其剩余能量;当传感器节点的能量被充满时,其向基站发送回收请求 其中xi和yi分别为为传感器充电的无线充电器的横坐标和纵坐标, 为该充电器的剩余能量;当传感器节点的剩余能量为零时,其被标记为死亡状态,不再接受充电器的能量补充行为。
4.根据权利要求1所述一种基于深度强化学习的多充电器载体分离充电方法,其特征在于,所述S1中MCV初始能量为EmJ,速度为vm/s,移动过程中的能耗为qmJ/m,其初始位置从服务站出发,在第k步时,MCV的剩余能量为:式中dk为MCV在第k步时的移动距离。
5.根据权利要求1所述一种基于深度强化学习的多充电器载体分离充电方法,其特征在于,所述S1中MCV携带的m个相同的无线充电器,其初始能量为EcJ,充电功率为qcW,在时隙t时,无线充电器j的剩余能为:上式为无线充电器j给传感器i充电的剩余能量模型;若无线充电器没有给任何传感器充电,则其剩余能量不变;
当MCV在执行下一步动作后并回收所有的无线充电器后的剩余能量不足以支撑其回到服务站时,或者所有的无线充电器剩余能量达到阈值CEth时,MCV回收所有的无线充电器返回服务站进行能量补充,为下一轮充电做准备。
6.根据权利要求1所述一种基于深度强化学习的多充电器载体分离充电方法,其特征在于,所述S1服务站的坐标为(Xs,Ys)为:上式中wi表示传感器节点i的充电频率,因为wi与节点的功耗正相关,因此将其表示为其中,pi为传感器节点在一个周期内的平均功耗,将其表示为 其中T为网络生命周期内充电序列的长度, 为传感器节点i在时隙t时的功耗;则
7.根据权利要求1所述一种基于深度强化学习的多充电器载体分离充电方法,其特征在于,所述S2基于深度强化学习的多充电器载体分离充电方案是:当传感器节点的剩余能量达到阈值时或无线充电器完成充电时,传感器会通过多跳的方式给基站发送充电请求或回收请求,基站再将请求信息发送给MCV,MCV将接收到的请求加入到请求队列中,然后基于深度强化学习根据请求队列中的节点信息选择充电或回收动作,最后执行充电或回收任务。
8.根据权利要求1所述一种基于深度强化学习的多充电器载体分离充电方法,其特征在于,所述S2的目标优化模型为:其中,Ndead为每一步死亡传感器节点的数量,d为每一步MCV的移动距离,K为充电序列的长度;且以最小化死亡传感器的数量为主要目标。
9.根据权利要求1所述一种基于深度强化学习的多充电器载体分离充电方法,其特征在于,所述S3中的CSMCSDRL算法的具体步骤为:智能体MCV在当前状态st以概率ε根据当前网络选择最优动作 或者
以概率1‑ε随机选择一个动作at,其中A为动作空间且at∈A;MCV在与环境交互的的过程获得奖励rt并且达到新的状态st+1;然后将MCV与环境交互过程中获得的经验元组(st,at,rt,st+1)存入经验回放池中;当经验回放池满了之后,从其中随机抽取一批样本训练当前Q网络,并且在每一个C步,将当前Q网络的参数θ赋值给目标Q网络的参数θ';
在CSMCSDRL算法中,把传感器以及无线充电器都看成可选择节点;MCV的动作可以是运输无线充电器到请求充电的传感器节点处给其充电,或者回收网络中完成充电任务的无线充电器节点。
10.根据权利要求9所述一种基于深度强化学习的多充电器载体分离充电方法,其特征在于,所述奖励函数定义为:‑αd
r=e +βNdead (9)
上式中α为距离系数;β为传感器节点死亡的惩罚因子,其为一个负数;
因此,一轮充电调度的总的奖励为:
MCV在网络中通过不断的学习来获得更高的奖励值Rtotal,进而学习到更优的策略来接近最优解。