1.一种基于深度Q网络的网联交叉口生态引导协同控制方法,其特征在于,所述方法具体包括以下步骤:步骤一、部署智能信号控制设备、路侧单元与车载单元,路侧单元将采集的信息发送到智能信号控制设备;
并建立路侧单元与车载单元的通信链路;
步骤二、对于当前交叉口内的每条进口道,智能信号控制设备均根据接收到的信息进行车队到达停车线时刻预测;
步骤三、根据车队到达停车线时刻预测结果对当前交叉口各进口道的车辆进行动态梯队划分,将车辆划分为释放梯队和滞留梯队两部分;
步骤四、根据各流向的释放梯队内车辆数对各流向车辆的相位进行集约化处理,根据集约化处理构建深度强化学习模型的状态,通过深度强化学习模型输出实际相位放行序列以及各相位的绿灯开始时刻;
所述步骤四的具体过程为:
步骤四一、根据预测结果构建相位信息矩阵,令相位信息矩阵中第行;
其中:表示第个流向释放梯队内的车辆数;
表示第个流向的第1辆车到达停止线的时刻;
表示第个流向的第1辆车离开停止线的时刻,=;
表示第个流向的车辆相位的结束时刻;
表示第个流向的绿灯持续时间;
步骤四二、对各流向车辆的相位进行集约化处理,具体过程为:步骤四二一、建立维度为的合并判定矩阵,其中,表示当前交叉口的车辆流向总数,且矩阵中第行第列的元素,当且仅当满足条件(1)至条件(3)时第个流向的相位与第个流向的相位满足合并条件,即;
条件(1)、第个流向的车辆轨迹与第个流向的车辆轨迹无空间冲突;
条件(2)、,为阈值,表示第个流向的相位当量流量,表示第个流向的相位当量流量;
条件(3)、,为阈值,表示第个流向的相位需求时长,表示第个流向的相位需求时长;
步骤四二二、执行矩阵融合:
其中,“”表示哈达玛积;
表示的转置;
表示合并相位集,即集约化处理结果;
所述合并相位集中,对于满足相位合并条件的流向,合并后相位的绿灯开始时间、合并后相位的绿灯结束时间、,合并后相位的绿灯持续时间;
表示允许与第个流向相位合并的相位以及第个流向相位组成的集合;
表示对集合内的相位合并后,合并相位的释放梯队内车辆总数;
步骤四三、将状态空间作为深度强化学习模型的输入,其中,,表示合并后的相位总个数,表示一种相位放行顺序,通过深度强化学习模型输出调整后的相位放行顺序以及各相位的绿灯开始时刻;
步骤五、根据步骤二中的预测结果和深度强化学习模型的输出,判断是否维持深度强化学习模型当前输出的相位放行方案;
若维持深度强化学习模型当前输出的相位放行方案,则根据深度强化学习模型输出的各相位绿灯开始时刻进行各相位的车辆运动规划并放行相位放行方案中的第1相位,再根据车辆运动规划结果得到各相位内车队到达停车线时刻预测结果,再利用预测结果返回执行步骤三;
若不维持深度强化学习模型当前输出的相位放行方案,则根据深度强化学习模型输出的各相位绿灯开始时刻进行各相位的车辆运动规划,再根据车辆运动规划结果得到各相位内车队到达停车线时刻预测结果,再利用预测结果返回执行步骤三。
2.根据权利要求1所述的一种基于深度Q网络的网联交叉口生态引导协同控制方法,其特征在于,所述路侧单元内设置有多源感知设备,多源感知设备用于实时采集各网联车辆的瞬时速度、与进口道停车线的距离和运行时刻;并将实时采集的信息以及实时交通流量数据发送给智能信号控制设备。
3.根据权利要求2所述的一种基于深度Q网络的网联交叉口生态引导协同控制方法,其特征在于,所述步骤二的具体过程为:对于当前交叉口内的任意一股流向的车辆,将车辆驶出上一交叉口合并区作为控制区起始点,允许车辆进入控制区以最大加速度行驶至最大速度,则第辆车到达停车线时刻的预测值为:其中,表示第辆车到达停车线时刻的预测值;
表示第辆车控制开始时间,即第辆车进入控制区的时刻;
表示第辆车在时刻的速度;
表示第辆车的允许最大加速度;
表示第辆车到达停车线时刻的预测值;
表示第辆车在时刻的速度;
表示第辆车在时刻的速度;
为第辆车与前车的车头时距;
为第辆车与前车的车间距离;
为第辆车的前车的车身长度;
D表示当前时刻第辆车相对于停车线的距离;
当时,记,当第辆车以最大加速度行驶且在停车线前加速至时,第辆车到达停车线时刻的预测值改写为:其中,表示时刻第辆车与停车线的距离;
表示第辆车进入控制区时的速度。
4.根据权利要求3所述的一种基于深度Q网络的网联交叉口生态引导协同控制方法,其特征在于,所述步骤三中,车辆进行动态梯队划分的具体过程为:(1)释放梯队车辆的时空轨迹满足:其中,表示第n辆车与第n-1辆车的车头间距;
表示临界间距;
表示相位的最短绿灯时间;
表示相位的最大绿灯时间;
表示与第n辆车在交叉口内行驶时间之和,表示第辆车离开停车线时间与第1辆车离开停车线时间之差;
(2)滞留梯队内的车辆集合,其中,表示释放梯队内的车辆集合,表示当前流向的全部车辆的集合。
5.根据权利要求4所述的一种基于深度Q网络的网联交叉口生态引导协同控制方法,其特征在于,所述第辆车到达停车线时刻的预测值计算时满足的约束为:①速度约束:
其中,表示第辆车在时刻的速度;
②加速度约束:
其中,表示车辆所被允许采纳的最大加速度;
表示车辆所被允许采纳的最大减速度;
表示第辆车在时刻的加速度;
③相位约束:
其中,,表示当前流向的车辆相位的结束时刻;
令,表示第辆车离开停止线的时刻。
6.根据权利要求5所述的一种基于深度Q网络的网联交叉口生态引导协同控制方法,其特征在于,所述当前流向的车辆相位的结束时刻的计算方法为:将当前流向的车辆通过交叉口的时间作为绿灯持续时间,绿灯持续时间为:其中,为当前流向的车辆的消散时间;
为当前流向车辆的相位内的尾车在交叉口内的行驶时间;
计算当前流向的车辆相位的结束时刻为:。
7.根据权利要求6所述的一种基于深度Q网络的网联交叉口生态引导协同控制方法,其特征在于,所述深度强化学习模型训练时采用的奖励函数为:其中,,表示预测的第i个流向的头车到达停车线的时刻;
表示深度强化学习模型输出的第i个流向放行的绿灯开始时刻;
和表示平衡常数;
表示奖励函数。
8.根据权利要求7所述的一种基于深度Q网络的网联交叉口生态引导协同控制方法,其特征在于,所述步骤五的具体过程为:定义相位调整误差函数:
其中,表示预测的各个放行相位的第1辆车到达停车线的时刻组成的向量;
表示深度强化学习模型当前输出的各个放行相位内实际绿灯开启时刻组成的向量;
当时,维持深度强化学习模型当前输出的相位放行方案,根据深度强化学习模型当前输出的各个放行相位内实际绿灯开启时刻对各相位的车辆进行运动规划,得到各相位内的车辆运动规划结果;
智能信号控制设备通过路侧单元将运动规划结果发送给车载单元,第1个放行相位内的车辆根据运动规划结果放行;根据各相位内的车辆运动规划结果得到各相位内的车队到达停车线时刻的预测结果,利用得到的预测结果返回执行步骤三;
所述运动规划的具体过程为:
其中,为常数;
表示第辆车的加速度;
表示第辆车进入控制区的时间;
表示第辆车离开控制区的时间;
;
其中,表示二阶线性动力学方程;
表示第辆车在时刻的位置;
表示第辆车在时刻的速度;
表示第辆车的控制开始时间;
表示控制开始处到停车线的距离;
当时,根据深度强化学习模型当前输出的各个放行相位内实际绿灯开启时刻,对各相位的车辆进行运动规划,得到各相位内的车辆运动规划结果;
并根据各相位内的车辆运动规划结果得到各相位内的车队到达停车线时刻的预测结果,利用得到的预测结果返回执行步骤三。