1.一种基于近端策略优化的信号灯路口通行方法,其特征在于,包括以下步骤:步骤1、搭建基于近端策略优化算法的深度强化学习网络模型,采集的实时车辆速度信息、车辆当前位置与目标信号灯路口的距离以及当前时刻距离可通过的绿灯相位的时间差作为经济性信号灯路口通行模型的状态空间;
步骤2、基于车辆行驶中的能量消耗、车辆速度、能否在绿灯时序下通过目标信号灯路口以及城市工况下车辆的速度限制,提出经济性信号灯路口通行奖励函数;
步骤3、被控车辆在开源车辆仿真器Carla中根据经济性信号灯路口通行模型生成的动作变量与环境进行实时交互,依据奖励函数对当前状态下被控车辆所采取的动作进行评价,并以此对深度强化学习中的策略参数进行优化,最终得到经济性信号灯路口通行策略;
所述步骤2包括以下具体步骤:
步骤2.1、综合车辆的实时速度奖励,车辆行驶中的瞬时能量消耗水平奖励和能否在绿灯时序内通过的奖励设定;设置的最大期望通过速度和最小期望通过速度计算公式如下所示:;
;
上式中的为本车当前位置与目标信号灯路口的距离,为当前时刻距离可通过的绿灯相位的时间差,为该绿灯相位持续的时间;
步骤2.2、车辆的实时速度奖励具体的定义如下:
;
上式中的代表本车实时纵向行驶速度;表示初始速度;代表每个训练回合的初始时刻距离可通过的绿灯相位的时间差;代表在一个训练回合中车辆的行驶时间;代表截断函数,将其后面括号中的第一个参数的值限制在第二个和第三个参数之间;代表驾驶工况中的速度上限,设置为50 km/h;
步骤2.3、车辆行驶瞬时能量消耗水平奖励的定义如下所示:
;
上式中的代表相邻两个时间步采集到的被控车辆加速度的差值;代表相邻两个时间步近端策略优化算法的动作输出差值,即加速踏板开度的差值;代表了车辆瞬时能量消耗,利用车辆的速度和加速度基于VT-Micro油耗模型对车辆的瞬时能量消耗进行计算;VT-Micro油耗模型的计算公式如下:;
其中,为与车辆加速度有关的参数,与车辆行驶中的加速度正负有关;和是车辆任意时刻的加速度和速度值;
步骤2.4、绿灯时序内通过的奖励的定义如下:
;
当主车在绿灯时序通过信号灯路口时,会给予奖励,提升算法具备绿灯通行的能力;
步骤2.5、奖励函数为、和之和,即:。
2.根据权利要求1所述的基于近端策略优化的信号灯路口通行方法,其特征在于,所述步骤1包括以下具体步骤:步骤1.1、驾驶工况设计为每次训练回合的初始车辆生成位置距离信号灯路口相同,车辆在初始产生位置处可具有低、中和高三种不同的初始速度,信号灯具有不同的时序及相位顺序,将上述驾驶工况的搭建实现在Carla/Python联合仿真平台中;
步骤1.2、将所应用的近端策略优化算法中的动作空间设置为加速踏板开度,加速踏板开度的范围设置为[0,1];
步骤1.3、为了使智能体实时感知环境的变化,将近端策略优化算法的状态空间设置为:本车当前位置与目标信号灯路口的距离,记为;本车的实时纵向行驶速度,记为;当前时刻距离可通过的绿灯相位的时间差,记为;则近端策略优化算法具有三维状态空间,即。
3.根据权利要求2所述的基于近端策略优化的信号灯路口通行方法,其特征在于,在所述步骤1.2中,加速踏板所驱动的车辆动力学模型由Carla仿真器提供。
4.根据权利要求3所述的基于近端策略优化的信号灯路口通行方法,其特征在于,所述步骤3包括以下具体步骤:基于近端策略优化算法的深度强化学习的网络结果,采用Actor-Critic结构,其中,Actor网络负责根据已有的策略从搭建的Carla/Python联合仿真平台中采集需要的被控车辆目前的状态作为输入,被控车辆目前的状态包括纵向速度、当前位置与目标信号灯路口的距离以及当前时刻距离可通过的绿灯相位的时间差,输出可执行动作即车辆加速踏板的开度的概率分布,并利用策略梯度以小样本实现网络更新,保留旧Actor网络,保证模型更新的稳定性;
Actor网络与环境之间的交互数据,即当前时刻的状态、当前时刻采取的动作、在当前状态做出当前动作获得的奖励和下一个时刻的状态,将会被存入经验池中,在网络更新时会从经验池中抽取样本数据;
优势函数由广义优势估计方法利用Critic网络输出的价值估值计算得到,Critic网络负责根据输入的被控车辆状态对于Actor网络与环境的交互进行评价,使得Actor网络的策略得到更新,并辅助被控车辆学习到经济性信号灯路口通行策略。
5.根据权利要求4所述的基于近端策略优化的信号灯路口通行方法,其特征在于,在所述步骤3中,采用基于截断目标函数方法的近端策略优化算法,同时利用重要性采样的方法,使得网络利用“异策略”的方法进行更新,重要性采样权重即新旧策略比值的计算方法如下所示:;
其中,是时刻更新后的策略的概率分布,是更新前的策略的概率分布,则基于截断目标函数方法的近端策略优化算法的目标函数的计算方法如下所示:;
上式中,为网络的策略参数;其中的代表求取期望估计;代表截断项,即重要性采样权重被限制在区域中,为经验超参数,的取值为0.2;min函数的作用就是选择括号内两个参数中较小的一项;为时刻优势函数,利用广义优势计算方法得到,该方法的具体表达式如下:;
上式中的为折扣系数;为权重系数;为选取的时间步的步数;是时刻时间差分误差,其定义式如下所示:;
上式中的是该时间步的奖励,为时刻Critic网络给出的状态估值。