1.一种基于深度强化学习的电动汽车充电站充电功率分配方法,其特征在于,包括如下步骤:步骤1、根据充电站的位置、电动汽车的初始电量和位置,为用户筛选出合适的充电站,从而得到电动汽车的充电站候选解集合;
步骤2、根据空间负载均衡选择将电动汽车分配到负载最低的充电站,并结合电动汽车到达充电站的时间给出最优充电站;
步骤3、根据到达充电站内的电动汽车的信息,将电动汽车充电资源分配问题转化为马尔可夫过程问题,所述电动汽车的信息包括电动汽车的充电需求和充电停车时间,所述马尔可夫过程问题包括动作值、状态值和奖励值的求解;选择当前充电站在当前时刻的充电动作aj,t作为马尔可夫过程问题的动作,aj,t表示为:其中,表示充电站在当前时刻t选择充电的电动汽车数量,当前时刻电动汽车总量;并根据用户紧急程度执行充电动作;
计算优化目标为最小化用户成本DRL_Cost的奖励函数表达式如下:其中pj,t代表的是第j个充电站在t时刻的充电价格;
计算最小化充电站之间负载差距DRL_Space的奖励函数表达式如下:其中代表的是第j个配电网在t时刻时没有电动汽车充电时的基础负载,Pttot所有配电网在t时刻时没有电动汽车充电时的总负载;
最终马尔可夫过程问题的构建方法:
由于和的量化等级不同,因此为了能够使用户的充电成本和充电站之间的负载差距进行共同优化,需要对二者进行归一化处理,归一化的公式如下:其中,xt代表该元素在时刻t下的值,xmax表示同一类元素的最大值,xmin表示同一类元素的最小值,则考虑用户成本和空间负载均衡DRL_Both的奖励函数rj,t用如下公式计算:其中,α和β分别代表奖励函数为最小化用户充电成本和充电站负载均衡时的权重因子,代表的是将价格归一化后的值,代表的是将负载差距归一化后的值;
根据状态St,动作aj,t和不同的奖励函数,计算当前状态-动作下的Q值函数Qj(s,a),计算公式为:其中,E代表期望函数,γ代表折扣因子,rj,t+k代表智能体在未来时刻的奖励,Qj(s,a)代表在状态s下,采取动作a得到的累计奖励期望;
步骤4、利用深度强化学习算法迭代求解马尔可夫过程问题,从而最终的动作值作为最终的功率分配方式。
2.根据权利要求1所述的一种基于深度强化学习的电动汽车充电站充电功率分配方法,其特征在于,所述步骤1中,构建充电站候选解集合的方法为:首先,根据电动汽车的位置和初始电量,计算出用户到达各个充电站的距离矩阵R,矩阵R的定义如下:其中Ri,j代表第i辆车到达第j个充电站的距离,N代表的是请求充电的电动汽车总数;
根据第i辆电动汽车的初始电池电荷状态和电动汽车行驶的最大距离Rmax,计算其剩余电量下行驶的最远距离Ri,Ri满足:结合矩阵R得到该电动汽车的充电站候选解集合Candi,Candi应满足:其中是满足上市的所有充电站集合。
3.根据权利要求1所述的一种基于深度强化学习的电动汽车充电站充电功率分配方法,其特征在于,所述步骤3中,统计每个充电站内具有相同充电时隙数和预计停车时隙数的电动汽车数量和当前时刻t作为马尔可夫过程问题的状态St,则St表示为:其中代表的是充电站内电动汽车中,充电时隙数为c,预计停车时隙数为e的电动汽车总数,Cmax代表的是电动汽车所需的最大充电时间,Emax代表的是电动汽车的最大停车时间。
4.根据权利要求3所述的一种基于深度强化学习的电动汽车充电站充电功率分配方法,其特征在于,所述马尔可夫过程问题的状态St的维度计算方法为:
5.根据权利要求4所述的一种基于深度强化学习的电动汽车充电站充电功率分配方法,其特征在于,所述用户紧急程度的计算方法为:根据用户的充电需求di和充电停车时间pi计算电动汽车在满充状态下的充电时隙数ci,t和预计停车时隙数ei,t,公式表示为:其中ΔT是相邻两个时隙之间的时间差,p为充电站的充电功率。并根据这两个数据计算用户的紧急程度计算式表示为:
6.根据权利要求5所述的一种基于深度强化学习的电动汽车充电站充电功率分配方法,其特征在于,所述步骤4中,通过构建两个结构相同深度神经网络实现深度强化学习算法,其中一个深度神经网络为训练网络,另外一个深度神经网络为目标网络。
7.根据权利要求6所述的一种基于深度强化学习的电动汽车充电站充电功率分配方法,其特征在于,所述步骤4包括如下子步骤:步骤4-1、随机初始化训练网络的参数θ,并初始化目标网络的参数使得两个网络中的参数相同;
步骤4-2、初始化训练迭代的次数episode=0,初始化t=0,根据充电站内电动汽车的信息生成当前充电站的初始状态s0;
步骤4-3、根据当前训练网络参数和贪心策略argmaxQ(s,a|θ)选择充电动作at,选择动作的策略如下:步骤4-4、计算即时奖励rt,并根据新到达充电站的电动汽车和尚未完成充电需求的电动汽车信息,获取下一个时刻的马尔可夫状态st+1;
步骤4-5、将样本(st,,at,rt,st+1)放入回放缓存池中,并从缓存池中选取一定数量的样本进行训练,并更新网络参数;
步骤4-6、重复步骤4-1到步骤4-6的操作,直到episode达到预设的最大值,并将该episode的动作aepisode作为最终的功率分配方式。
8.根据权利要求7所述的一种基于深度强化学习的电动汽车充电站充电功率分配方法,其特征在于,所述步骤4-5中,更新网络参数的方法为:L(θ)=E[(qtarget-Q(s,a|θ))2]
其中是qtarget目标Q值,s′代表是下一个状态,a′代表的是下一个状态下所有可能的动作,μ是学习率,为梯度算子。