1.一种基于最小化压力差的深度强化学习交通信号协调优化控制方法,其特征在于,包括:步骤S100,采集交叉口各条车道上的车辆位置信息和速度信息;
步骤S200,根据车辆位置信息和速度信息,基于深度双Q网络模型得到下一时刻的动作;
步骤S300,根据动作信息,得到下一时刻交叉口信号灯的信号配时方案,选择保持当前相位或执行下一个信号相位;
步骤S400,执行信号配时方案,循环步骤S200~S400;
步骤S200基于深度双Q网络模型获取下一时刻动作,所述深度双Q网络模型,包括当前值网络和目标值网络,其中每一时刻t的当前值函数Q(st,at;θt)和目标值函数其中s表示交通状态,由位置信息和速度信息构成,a表示动作,θ表示网络权重,当at=0时,交叉口保持当前相位不变,当at=1时,切换到相位序列中当前相位的下一个相位;步骤S200具体包括:步骤S201,通过当前值网络计算得到最大Q值所对应的动作at’,其中at’为最优动作;
DDQN
步骤S202,根据at’,在目标值网络中计算目标Q值Yt ,对最优动作进行评估其中, 表示当前值网络在状态st+1下输出的最大动作值所对应的动作; 表示目标网络在状态st+1下,根据在线网络选择的动作输出的动作值;γ表示折扣系数;Rt+1表示在状态st下执行动作后获得的奖励;
步骤S203,通过最小化目标Q值与当前Q值之间的时间差分误差实现最优动作的拟合;
步骤S300所述的相位包括σ={NSG,EWG,NSLG,EWLG},其中σ为相位集合,NSG表示南北方向车道允许通行,EWG表示东西方向车道允许通行,NSLG表示南北左转允许通行,EWLG表示东西左转允许通行;
相位按照NSG→NSLG→EWG→EWLG的顺序变换;
还包括基于归一化压力算法获得奖励的过程,该过程具体为:步骤S601,构建归一化压力模型
m
ρa=k×Qa+ω×(Qa)
其中,ρa为车道上的归一化压力,Qa为车道a上车辆的排队长度,m和k为固定参数,Ca为道路a上能承受的最大容量;
步骤S602,获取车辆从车道a驶入车道b的压力差表示为ρ(a,b)ρ(a,b)=ρa‑ρb
其中,ρa和ρb分别为驶入车道a与驶出车道b上归一化压力;
步骤S603,获取交叉路口i的压力Pi;
其中,(a,b)∈σ表示(a,b)是相位集合σ={NSG,EWG,NSLG,EWLG}中的一组相位运动;
步骤S604,设置奖励函数
ri=‑Pi。
2.根据权利要求1所述的方法,其特征在于,步骤S100具体包括:步骤S101,将每一条车道距离停车线一定距离范围内以固定长度间隔分成多个单元格;
步骤S102,获取每一单元格内车辆的位置向量和速度向量 其中每一单元格内的位置向量的数值为对应单元格中车辆的数量, vi为车辆i的实际速度,vmax为道路允许的最大速度;
步骤S103,所有单元格的位置向量和速度向量 分别组成位置矩阵和速度矩阵。
3.根据权利要求1所述的方法,其特征在于,还包括基于深度双Q网络模型对交通信号控制模型进行训练的过程,该过程包括以下步骤:步骤S501,利用仿真软件构建交通仿真环境;
步骤S502,初始化算法参数,参数包括经验回放池M、抽样批量B、贪婪系数ε、折扣系数γ、学习率α、训练迭代步数T;
步骤S503,从仿真软件中获取当前的车辆位置信息和速度信息,组成交通状态;
步骤S504,将交通状态st输入到当前值网络中,输出当前交通状态下所有执行动作a的Q值Q(s,a;θ),根据下式选择最优动作a’并执行步骤S505,执行完动作后,根据奖励函数获得奖励rt,同时观测下一时刻状态st+1,将当前交通状态和动作以及下一个时间段的交通状态和奖励值作为一个四元组
步骤S506,判断经验缓冲池中样本数量是否大于B;若是,通过经验优先级回放机制在经验缓冲池中选取数量为B的经验数据,通过下式计算损失函数L(θ),并通过梯度下降算法更新当前值网络参数θ;若否,跳转到步骤S503;
—
步骤S507,每隔C步,将当前值网络参数θ拷贝到目标值网络参数θ,完成目标网络参数—更新,即θ=θ;
步骤S508,当前交通状态st更新为最新的交通状态st+1,即st←st+1;
步骤S509,判断算法的迭代次数是否超过T;若否,则返回步骤S504进行;若是,则完成基于强化学习的交通信号控制模型的训练,得到训练好的交通信号控制模型。