1.一种基于深度强化学习的连续交叉口信号协同控制方法,其特征在于,该方法包括如下步骤:步骤1、搭建连续交叉口上下层信号控制模型框架
首先生成一个训练批次的数据,将当前状态和动作以及收到的反馈值作为四元组(s,a,r,s′)存储在存储器中,用以更新主神经网络的参数;然后模型随机选择动作,同时存储具有足够数量的样本;接着通过反向传播更新神经网络中的学习率;最后根据全局车辆平均延误和每个交叉口的车均延误对所有交叉口相位绿灯时长进行二次调整;
步骤2、下层神经网络的状态空间定义
将交叉口每个方向的车辆等待时间、车辆延迟以及信号灯相位变化作为状态输入,并对交叉口区域进行离散化建模:将交叉口划分成大小相同的矩形网格,其中将各个车道分成网格并看作一个元胞,检测器检测车辆状态信息,对于每个小方块区域用单通道卷积表示时间t内检测到的速度及位置信息;若检测器未检测到车辆,则将该区块补零,最后将得到的速度与位置矩阵作为整个路网的状态信息;
步骤3、下层神经网络的动作选取
根据当前的交通状态选择适当的动作来引导交叉口的车辆,把阶段间的切换作为动作空间,将循环的单位时间离散化为5秒,在切换后,当前相序状态将更新为所选择的相序状态,交通信号灯再采用与前一过程相同的方式选择下个动作;
步骤4、下层神经网络反馈值定义
令ki表示从第i时间段到i+1时间段内路网上的车辆到达数,第j辆车在时间段i的等待时间记为 则在第i时间段的反馈值定义为:步骤5、下层神经网络建模
首先把收集到的车辆速度与位置信息矩阵化处理,其次通过三个卷积层处理数据,三个卷积层和完全连接层构造如下:第一个卷积层包含32个滤镜,每个滤镜的大小为4×4,每次通过输入的数据移动4×4/每步;第二个卷积层有64个滤镜,每个滤镜的大小为2×2,它移动2×2/每步,两个卷积层后输出的大小为30×30×64;第三卷积层有128个滤波器,大小为2×2,步幅大小为1×1,第三个卷积层的输出是30×30×128张量,一个全连接层将张量转换成128×1矩阵;在完全连接层之后,数据被分成大小相同的两部分,为64×1;其中第一部分代表状态值函数V(s),表示当前路网的静态状态本身具有的价值函数;第二部分代表依赖状态的动作优势函数A(a),表示选择某个行为额外带来的路网延误变化值,把V(s)和A(a)组合得到每个动作的Q值,该Q函数表示从状态s开始,使用a作为第一个行为的最大累积反馈值,通过当前路网交通状态,预测得出平均期望值,并由控制器执行当前神经网络下的最优信号切换策略;
步骤6、下层强化学习网络的优化
1)深度强化学习网络
用均方误差更新神经网络:
其中Qtarget(s,a)表示状态s下采取动作a的目标Q值,θ表示网络参数为均方误差损失,P(s)表示一个训练批次中出现状态s的概率;
主神经网络中的参数通过反向传播进行更新,其中θ-基于以下等式中的θ进行更新:θ-=αθ-+(1-α)θ
α为更新速率,表示新参数对目标网络的影响程度;
其中Q(s,a;θi)表示当前网络的输出Q值,用来评估当前状态动作对应的Q值,表示目标值网络的输出, 近似表示值函数的优化目标,即目标Q值;
2)确定神经网络参数
基于排序的方法计算体验样本的优先概率,其中样本i的误差δ定义为:δi=|Q(s,a;θ)i-Qtarget(s,a)i|将误差δ排序,设这些经验的优先级pi为其排序的倒数,Pi为对经验i进行采样的概率:其中τ表示使用了多少优先级;
设J(θ)表示损失函数,计算参数梯度g:
分别用指数移动平均值更新一阶和二阶偏置矩s和r。
s=ρss+(1-ρs)g
r=ρrr+(1-ρr)g
其中ρs和ρr分别是一阶和二阶指数衰减率,使用时间步长t,对一阶和二阶偏置矩进行校正,使校正后的结果更接近真实梯度。
计算梯度更新:
最终参数更新如下:
其中 是初始学习率, 是使数值稳定性的常数。
最终损失函数J如下:
步骤7、上层状态空间定义
系统中每个主体均是交叉口的交通信号控制器,网络分层控制的上层控制器能够控制下层多个交叉口信号控制器一起形成的区域,设其中各交叉口分别为1,2,…ζ;
步骤8、上层动作空间定义
设j为绿灯调整时间,所有交叉口车辆的平均延误 若当前交叉口ζ的平均延误是rζ,则该交叉口的相位绿灯时间调整为步骤9、上层神经网络反馈值定义
将上层Agent的反馈值rk定义为所有交叉口车辆的平均延误,以此作为交通信号控制系统的反馈值,并将其作为下一循坏的输入进行计算其中m为交叉口的数量,n表示当前的循环次数为第n次。