1.一种基于强化学习的交通信号灯路口协调控制方法,其特征在于,包括离线阶段和在线阶段;
离线阶段包括:
步骤1:根据交通灯路口环境信息,建立路口多模态通行相位控制模型;
多模态通行相位控制模型包括:相对模态相位、邻居模态相位、汇聚模态相位;
步骤2:对交通灯路口区域建模,分别定义强化学习的三要素State,Action,Reward;
将路口的信号灯控制系统及其控制区域内所有车道建模为智能体Agent,基于Q学习模型,建立Agent对状态State执行动作A的期望收益Q(State,A)值存储表,简称Q表;
State要素表示路口车辆停车等待绿灯的情况,采用估计停车等待时间最长的车流f、*以及可与车流f组合同时通行的候选车流中与车流f停车等待时间差最小的车流f 组合来表示;
Action要素表示交通灯控制车流通行的绿灯相位,动作空间包括所有可组合通行的绿灯相位模态,包括相对模态相位、邻居模态相位、汇聚模态相位;
Reward要素定义Agent从环境中获得的奖励,Reward=Ha×(1‑g),Ha是执行绿灯相位对路口拥堵状态变化的影响程度,g是路口整体车流状态不均衡系数;
步骤3:对车流通行的调节阶段分为:等待车辆的流通时间t1、行驶车辆的可持续通行时间t2,进入绿灯通行相位后,允许两条车道上的车流通行,基于V2X技术获取车流信息,观测车流状态,自适应车流在路口的流通时间t1,流通时间t1是两条车流中停车等待车辆全部通行路口的时间;
步骤4:在当前绿灯相位的等待车辆流通时间t1末,评估两条通行车流需要的可持续通行时间t2、路口非通行车流需要的最大等待流通时间t3;此时,路口通行车流的可持续时间t2,与非通行车流的等待流通时间t3竞争,决定路口自适应或请求邻居协调的情况;
步骤5:在黄灯通行期末,获取路口区域新状态,基于关注车道信息约束的Q学习协调策略选择动作,根据环境奖励更新Agent的学习效果,并执行新的动作相位;
步骤6:根据训练数据,重复执行步骤3到步骤5,训练基于Q学习的路口自适应和邻居协调控制策略,并保存训练结果;
步骤7:定义评价指标,在测试数据集上,对路口协调控制策略的效果进行测试和评价,得到最终的交通信号灯路口协调控制决策模型;
在线阶段:
步骤8:基于交通信号灯路口协调控制决策模型及V2X技术对路口的交通信号灯相位进行控制。
2.根据权利要求1所述的基于强化学习的交通信号灯路口协调控制方法,其特征在于,所述步骤2中,车流f表示为f=(NJ,lane),NJ表示车流来向的邻居路口方位,lane表示车流所在直行或左转车道。
3.根据权利要求1所述的基于强化学习的交通信号灯路口协调控制方法,其特征在于,步骤2中,估计停车等待时间Tw=halts×tw,其中,halts=h1+h2×G,halts是车道上估计停车数,tw是车道上单位车辆等待时间,h1是车道上当前停车数,h2是车道上正在行驶的车辆数,G是车道上车辆行驶状态不均衡系数。
4.根据权利要求3所述的基于强化学习的交通信号灯路口协调控制方法,其特征在于,车道上车辆行驶状态不均衡系数G=A/(A+B),0≤G≤1;统计该车道上车速升序累计百分比对应车辆数累计百分比的分布,A是车流理想行驶与实际行驶状态下该统计分布面积之差,B是车流实际状态下该统计分布面积。
5.根据权利要求1所述的基于强化学习的交通信号灯路口协调控制方法,其特征在于,执行绿灯相位对路口拥堵状态变化的影响程度Ha计算公式为:Ha=Hs/Hn,Hs是路口当前停车数,Hn是开始执行绿灯相位后路口预估停车数,Hn=Hs+D×g,D是路口正在行驶的车辆总数,g取路口直行和左转车道上车流行驶状态不均衡系数G的平均值。
6.根据权利要求1所述的基于强化学习的交通信号灯路口协调控制方法,其特征在于,停车等待车辆的通行期t1=d/v,d是最大等待车队末端车辆到路口停车线的距离,v是等待车队可通行状态下的速度估计;基于V2X技术采集车流速度和位置,从路口方向往车流来向统计车流的最大等待车队,若车道上没有车,则需要的流通时间t1=0,若车道上有车但是没有处于停车等待状态,则预估该流通时间t1=T/3,T是预设绿灯时间。
7.根据权利要求1所述的基于强化学习的交通信号灯路口协调控制方法,其特征在于,步骤4中,两条通行车流需要的可持续通行时间t2=ds/vs,若此时通行车道上没有车辆需要通行路口,则t2=0,vs是需要继续通行车辆的平均行驶速度,ds是两条车道上可连续通行末端车辆位置到路口停车线的最远距离。
8.根据权利要求7所述的基于强化学习的交通信号灯路口协调控制方法,其特征在于,为确定两条车道上可连续通行末端车辆位置到路口停车线的最远距离ds,需先确定可连续通行末端车辆位置,其确定方法如下:设置车辆在黄灯期内可以安全通过路口的最大车间距为黄灯时长可行驶距离dy,dy=ty×vs,ty是黄灯时间;
在当前绿灯相位的等待车辆流通时间t1末,基于V2X技术获取车流信息,从路口方向往车流来向检测车流内的前后车间距dp,若满足dp‑1
9.根据权利要求1所述的基于强化学习的交通信号灯路口协调控制方法,其特征在于,步骤4中,路口通行车流的可持续时间t2,与非通行车流的等待流通时间t3竞争,决定路口自适应或请求邻居协调的情况,具体包括:步骤4.1:判断路口的竞争状态;
若非通行车道上没有车辆等待通行,此时路口处于弱竞争状态,自适应正在通行车道上绿灯的剩余时间为t2,让车辆继续通行;
若非通行车道上有车辆等待通行,则路口处于强竞争状态,此时路口自适应或请求邻居协调的情况如步骤4.2和步骤4.3所述;
步骤4.2:强竞争状态下请求邻居路口协调;
当t3≤t2时,对于需要的可持续通行时间长的车道,路口将保证车道上绿灯的剩余时间为t2,同时请求该车道连接的上游邻居路口协调,对该车道间断一次车流传输;
步骤4.3:强竞争状态下路口自适应;
当t3>t2时,则路口在该状态下不需要邻居路口协调,自适应正在通行车道上绿灯的剩余时间为t2,再去通行其他车道;
步骤4.4:邻居路口协调状态更新;
基于V2X技术实现协调信息通信,可协调邻居路口根据收到的请求协调信息,在其关联协调信息表中,确定发出协调请求的路口信息以及待协调车道的信息,并更新此车道协调状态为待协调。
10.根据权利要求1所述的基于强化学习的交通信号灯路口协调控制方法,其特征在于,步骤5中,对于获取状态、选择动作、更新学习效果,具体包括:步骤5.1:获取路口区域新状态;
Agent对新环境状态学习,关注具有最长停车等待时间的车流并准备让其通行,同时通行的另一条车流与该车流具有通行不冲突约束下最小等待时间差,保障了车流共享通行权的公平性,此时学习到的两条车流信息用于表示路口新状态Snew;
步骤5.2:基于路口协调的动作选择策略;
首先,对动作选择进行路口等待通行时间最长的关注车道约束,对包含该约束车道上车流信息的状态Snew,动作A即为让状态Snew中两条车流通行的动作;若状态Snew不满足关注车道约束,则优先搜索多模态相位中适应两条车流通行的模态相位区间,然后,根据贪婪策略从Q表中选择最大Q值动作A,减小低效搜索范围;
最后,确认邻居请求协调情况,若无请求则路口选择动作A,若有请求,则判断待协调的间断流传输车道与动作A将要通行的车道是否冲突,不冲突则选择动作A,若冲突则为状态Snew选择仅次于最大Q值的动作A1后再次判断,不冲突则选择动作A1,仍旧冲突则选择动作A;最终选择的动作表示为Anew,路口信号灯状态切换为Anew对应的绿灯相位;
步骤5.3:更新学习效果;
* *
基于Q函数更新Agent对状态S0执行动作A0的学习效果,更新过程如下:Q(S0 ,A0)=(1‑* *α)×Q(S0,A0)+α×(γ×Q(Snew,Anew)+Reward),Q(S0 ,A0)是对经验收益值Q(S0,A0)的更新,Snew是执行动作A0后的新状态,在基于路口协调的动作选择策略下选择动作Anew,Q(Snew,Anew)是Q表中状态Snew选择动作Anew的经验收益,Reward是Agent执行A0获得的环境奖励,γ是对动作Anew适应新状态可获得未来收益的重视程度,γ∈(0,1),α是学习率,α∈(0,1)。