1.一种面向区域协同的强化学习实时订单派送方法,其特征在于:包括如下步骤:步骤1,基于获取的订单和派送员位置信息,将地理数据进行栏栅化处理,并根据规则编码生成订单分配矩阵Dij和状态特征向量组Aij;
步骤2,根据状态特征信息向量组Aij计算派送员对于订单的接受概率Pij;
步骤3,利用效益度指标计算单个子区域价值,确定优化目标和约束条件s.t.;
步骤4,根据目标优化函数和限制条件列出多目标优化方程组,通过拉格朗日对偶将含约束多目标优化问题转化为无约束优化问题,构建迭代更新数据流;
步骤5,根据深度强化学习框架,使用区域总价值函数作为奖赏函数,并基于迭代更新流设计损失函数来更新派单模型神经网络参数,获得强化学习派单更新迭代模型;
步骤6,在测试环节将计算得到的损失与设定阈值条件相比较,根据比较结果判断模型是否优化完成,进而获得可部署的区域协同的强化学习派单模型,输入实时的订单和派送员信息,实现强化学习的实时区域协同订单派送。
2.根据权利要求1所述的一种面向区域协同的强化学习实时订单派送方法,其特征在于:步骤1中,对地理数据栏栅化处理,将区域分解成若干个子区域,获取对应的向量表示,包括:定义区域边长为α,区域中心点坐标为(x0,y0),则栏栅化六边形区域为(x0-α,y0),(x0+α,y0),根据此六边形栏栅化方式将总区域划分为z个子区域,每个子区域范围区域内的订单个数n记为Sk=n(i=1,2,...,z),其中k代表子区域序号,i为区域序号;
将区域栏栅化处理后,将连续的时空分解为离散型的空间Si和时间t,并用向量形式表示,从而区域订单派送问题转化为一个时序相关的马尔可夫的决策问题,采用强化学习的方式解决。
3.根据权利要求1所述的一种面向区域协同的强化学习实时订单派送方法,其特征在于:步骤1中,对所获信息数据进行预处理,并编码生成订单分配矩阵Dij和状态特征向量组Aij,特征向量矩阵,其订单分配矩阵Dij定义如下:影响订单配送的因素包括订单的价值、接单距离、行驶方向、用户订单满意度、现有订单数量、订单所需时间,对每个因素进行数据预处理以形成状态特征向量组Aij;
其中接单距离dij采用欧式距离表示:
其中,(xi,yi)表示派送员的位置坐标,(xj,yj)表示订单的位置坐标;行驶方向差距δij采用余弦距离表示:其中βi表示派送员的行驶方向,βj表示订单的起点到终点方向;
因此将处理后的各数据结合形成状态特征向量组Aij为:
Aij=[rij dijβij Uij nij Tij],其中矩阵rij为派送员i对订单j的价值,dij为派送员i对订单j接单距离,βij为派送员i对订单j行驶方向差距,Uij为派送员i对订单j预期用户订单满意度分数,nij为派送员i现有订单数量,Tij为对应的订单预计时间。
4.根据权利要求1所述的一种面向区域协同的强化学习实时订单派送方法,其特征在于:步骤2中,对派送员接单概率进行预测,通过逻辑回归计算派送员的接受概率,考虑派送员对订单的接受意愿;将接受订单的概率因素编码成状态特征向量组Aij输入到模型,通过逻辑回归预测出派送员对订单的接受概率为:输出在观测变量oi的情况下派送员i是否接受订单j概率为pij,其中y=0时代表不接受,y=1时代表接受,输入特征为向量Gij,w为网络权重参数,b为网络偏置权重参数,通过监督学习训练得到函数中的参数向量;
因此第i个订单成交概率为:
其中Eij为第j个订单对于派送员i的成交概率,m为总订单数,Dij为订单分配矩阵。
5.根据权利要求1所述的一种面向区域协同的强化学习实时订单派送方法,其特征在于:步骤3中,利用效益度指标计算子区域价值,确定优化目标和约束条件:单个子区域k的期望价值Ik为:
rij为派送员i对订单j的预估价值,区域内的订单j预计等待派送员i的时间为Wij,m为总订单数,n为总派送员数,对两个目标累积求和,由此得子区域k内的效益率指标Hk:其中具有以下限制条件:
一个订单只能被一个派送员接收:
区域最大订单载荷量限制:
Bk是区域k内的最大订单载荷量。
6.根据权利要求5所述的一种面向区域协同的强化学习实时订单派送方法,其特征在于:步骤3中,考虑全局订单流量问题,因此全局区域总效益率指标P为:其中Hk为区域k内的效益率指标,Sk为区域k内的订单数量,z为区域个数;
因此,多目标组合优化问题方程组的目标函数为:
maxP,
限制条件为:
7.根据权利要求1所述的一种面向区域协同的强化学习实时订单派送方法,其特征在于:步骤4中,经过拉格朗日对偶变换,将优化模型限制条件转换为无限制模型,并确定参数迭代顺序:将最优化问题构造增广拉格朗日对偶函数:
μ=(μ1,μ2,...,μM)T为拉格朗日乘子向量,M为拉格朗日乘子个数,构造的增广拉格朗日函数分别对订单分配矩阵Dij和区域内的订单j预计等待派送员i的时间Wij求偏导:求得的迭代方程式为:
因此存在如下数据流的迭代方式:
为t时刻的订单分配矩阵,为t时刻的区域内的订单用户j预计等待派送员i的时间,为t时刻的全局区域总效益率指标。
8.根据权利要求1所述的一种面向区域协同的强化学习实时订单派送方法,其特征在于:步骤5中,在执行后数据流后,观测全局总效益率指标,并将总效益率指标作为奖惩值:为强化学习中的奖惩值,Pk为总效益率指标,订单分配矩阵Dij,区域内的订单j预计等待派送员i的时间为Wij。
9.根据权利要求1所述的一种面向区域协同的强化学习实时订单派送方法,其特征在于:步骤5中,基于迭代更新流设计损失函数来更新派单模型神经网络参数,获得强化学习派单更新迭代模型方式为:在时刻t,将观测到的状态特征向量组Aij和效益率指标P作为神经网络输入,输出所对应派单方案作为t时刻的派单方式;
在强化学习中,误差函数L(θ)为:
上标(t)表示t时刻的值,上标(t+1)表示t+1时刻的值,Q是神经网络模型,折扣因子γ∈[0,1]决定了更新分配策略的权重,当γ→0时神经网络输出动作状态值函数趋近于奖惩值,当γ→1时,此时分配策略综合优化系统效率指标和等候时间,使得优化目标函数最大化,最后输出最优策略模型;
采用梯度下降的方式更新神经网络:
其中θw是模型第w轮迭代时的神经网络参数,λ是神经网络学习率,L(θ)是神经网络误差函数。
10.根据权利要求1所述的一种面向区域协同的强化学习实时订单派送方法,其特征在于:步骤6中,在测试环节将计算得到的损失与设定阈值条件相比较,根据比较结果判断模型是否优化完成方式为:设定阈值X和最大迭代更新次数MU,经过网络前向传播后,当时,或迭代更新次数达到最大更新迭代次数MU时,输出一组数值,每个数值对应一种派单调度方案,从输出的数值中寻找最大数值,并将最大数值作为模型预测结果输出,得到训练完成后的可部署的深度强化学习实时派单模型,通过输入状态特征向量组Aij即输出对应的派单方式。