1.城市路网交通信号配时优化控制方法,其特征在于,包括以下步骤:步骤S1,建立基于深度强化学习的交通信号控制模型;
步骤S2,训练基于深度强化学习的多交叉口协同自适应信号配时优化控制模型;
步骤S3,在步骤S2的基础上,生成交通信号配时优化控制策略和持续更新模型;
所述建立基于深度强化学习的交通信号控制模型,包括以下步骤:S11.定义深度强化学习控制模型的状态,构造联合状态其中,
s12.定义深度强化学习控制模型的动作,每个交叉口的动作切换在其动作集合AA
其中,NS表示南北方向直行;NSL表示南北方向左转;WE表示东西方向直行;WEL东西方向左转;
s13.定义深度强化学习控制模型的奖励值函数;
s14.设计行动者Actor网络和评论家Critic网络;
所述训练基于深度强化学习的多交叉口协同自适应信号配时优化控制模型,具体实施步骤包括:s21.搭建基于微观交通仿真软件SUMO的交通仿真环境,其中,SUMO是一个时间离散、空间连续的微观交通仿真软件,SUMO TraCI提供了一种基于TCP协议的客户/服务器体系结构,控制器通过远程
s22.初始化深度强化学习交通信号控制模型,初始化算法参数,包括训练控制模型的最大回合数epsilon、每个回合的时间步数T、每一批处理数据的批量B、Actor网络学习率ηs23.初始化训练回合数,使训练回合数初始化为1;
s24.初始化每回合的训练时间步数,使时间步数初始化为0;
s25.从仿真路网中获取交叉口的交通状态信息作为输入,运行策略网络选择执行动作,返回对应的奖励和状态,输出每一个动作对应的概率,然后时间步+1,循环至采样数据达到小批量的值,进行下一步;
s26.计算优势函数和奖励估计,更新Actor网络和Critic网络;
s27.检测回合内的时间步数,若时间步数未能达到指定的最大时间步数,则执行步骤s25,若时间步达到指定的最大时间步,则更新网络参数完成一个回合内的训练,执行下一步;
s28.检测训练回合数,若回合数epsilon小于最大回合数,则当前回合数+1,执行步骤s24,开始下一回合训练,否则,完成整个交通信号配时控制训练。
2.如权利要求1所述的城市路网交通信号配时优化控制方法,其特征在于,所述定义深度强化学习控制模型的奖励值函数,包括以应急车辆为对象的奖励函数,步骤为:S131A,将应急车辆所在车道的最低动态密度作为优化目标,均衡疏散车道社会车辆的同时优化应急车辆的道路资源,其动态密度奖励表示为:其中,x(l)表示车道l的车辆数,x
S132A,应急车辆交叉口行车状态奖励为:其中,v
S133A,应急车辆的奖励函数为:
r
3.如权利要求1所述的城市路网交通信号配时优化控制方法,其特征在于,所述定义深度强化学习控制模型的奖励值函数,包括以社会车辆为对象的奖励函数,步骤为:s131B.交叉口i的排头车辆平均等待奖励函数可表示为:其中,N
其中,W
s132B.单位时间内通过的奖励函数可表示为:其中,φ
上式中m为交叉口边的数量,n为每一条边包含的车道数,s133B.社会车辆奖励函数为:
r
s134B.系统总奖励为:
针对不同通行车辆的混合奖励函数,可以真实反馈应急车辆通行控制效果并实现针对性的控制。