1.一种车辆调度方法,其特征在于,包括:
获取初始车辆调度信息和订单信息作为原始数据,将原始数据分化为网格状数据:按照地图数据分布,将地图划分为六边形网格,并将数据集中的车辆调度信息、订单信息按照经纬度划分到网格之中:将一天的时间信息分为若干个时间片段,每隔一个时间片段执行一次调度,每天在数据集中抽取一天来拟合实际数据,以此来提取全局状态;
从全局状态中获取每个网格的个体状态作为输入,其中个体状态包含了自身以及周围六个邻居节点的信息;
个体状态通过全连接网络层得到个体动作:每个网格内的智能体是同质的,拥有相同的调度策略;
将所有智能体的联合动作集合或个体状态作为新的输入,输入到双评价网络中得到当前状态下选取对应动作获得的奖励值和;将得到的奖励值和输入到调和网络模块中得到目标价值,具体包括将同样的动作与状态信息输入到两个相同结构层的评价网络中,由于训练中的参数不同,会导致两个评价网络输出不同的价值,再将这两个不同的价值进行比较,较大值乘以权重系数,较小值乘以权重系数再相加得到目标价值,公式如下:,
其中:、均为权重系数,,;
将得到的输入到不确定性加权模块中得到评价网络的损失函数,将策略网络的损失函数、评价网络的损失函数进行比对得到最终调度方案。
2.根据权利要求1所述的一种车辆调度方法,其特征在于,智能体的动作空间包含七个离散动作值,分别指向第i个网络本身和六个邻居网格;将得到的动作输入到不确定性加权模块,得到对应的策略网络的损失函数。
3.根据权利要求2所述的一种车辆调度方法,其特征在于,所述不确定性加权模块包括如下内容:模块的不确定性通过Q值估计的方差得到:,
其中:为模块的不确定性权重,用来估计不同状态-动作对的权重,为数据中的固有噪声,为模型对其预测的不确定程度,为预测均值;为模型关于离线数据集分布外的数据的不确定性;得到离线数据集分布外的数据的不确定性后,定义基于不确定性加权的策略分布:其中:表示在原有的策略基础之上加上了不确定性权重的策略分布,为不确定性常数,表示0号智能体在策略分布情况下的不确定性,为在状态s下选择动作的概率;为在状态s下选取所有不同动作的概率分布;
将预测的不确定性融入Actor-Critic框架中得到新的评价网络的损失函数和策略网络的损失函数,分别如下所示:其中:为新的评价网络的损失函数,为新的策略网络的损失函数,、、表示将数据进行估计的不确定性作为正则化项,以达到保守估计的目的,并且将预测的不确定性融入框架中以得到新的损失值,具体表示为在对应状态或动作的策略条件下的正则化操作;为不确定性常数,为下一个状态--动作价值对的不确定性权重,表示在每一个时序差分中的误差,简称为TD Error,函数表示标准的当前价值与目标价值的损失;为当前状态s选择动作后产生的价值,为状态s下执行动作后获得的奖励值,为折扣因子,表示对下一个状态选择对应执行动作的价值的估计;表示智能体在策略分布情况下的不确定性加权权重;评价网络的损失函数是在TD Error前面加上权重,而策略网络的损失函数是在Q值前面加上不确定性权重。
4.根据权利要求3所述的一种车辆调度方法,其特征在于,所述为0.8。
5.根据权利要求1所述的一种车辆调度方法,其特征在于,所述获取初始车辆调度信息和订单信息作为原始数据,将原始数据分化为网格状数据包括:将地图划分为六边形网格具体为将地图划分为17*15的六边形网格,一共划分为255个六边形网格,并将数据集中的车辆信息、订单信息按照经纬度划分到网格之中。
6.根据权利要求5所述的一种车辆调度方法,其特征在于,所述获取初始车辆调度信息和订单信息作为原始数据,将原始数据分化为网格状数据还包括将一天的时间信息分为144个时间片段,每个片段10分钟执行一次调度,每天在数据集中抽取一天来拟合实际数据,以此来提取全局状态。
7.一种车辆调度服务器,包括处理器、存储器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器在运行所述计算机程序时,执行权利要求1-6任一项所述的方法。
8.一种计算机可读的存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器运行时实现权利要求1-6任一项所述的方法。