欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2024101640282
申请人: 吉林大学
专利类型:发明专利
专利状态:已下证
专利领域: 信号装置
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.考虑交叉口异质性的多智能体强化学习交通信号协同控制方法,其特征在于:所述方法具体过程为:

步骤1、数据采集;

步骤2、仿真平台搭建及初始化;

步骤3、多智能体深度强化学习网络搭建及初始化;

步骤4、将仿真平台输出的交叉口的交通状态、路网的交通状态、奖励函数作为多智能体深度强化学习网络的输入,多智能体深度强化学习网络输出各交叉口的个体动作函数值,基于多智能体深度强化学习网络输出的各交叉口的个体动作函数值确定动作,将动作经仿真平台软件中的Traci交通控制接口反馈给仿真平台,仿真平台秒后再次输出交叉口的交通状态、路网的交通状态、奖励函数;

步骤5、重复执行步骤4对多智能体深度强化学习网络进行训练,直至收敛,获得训练好的多智能体深度强化学习网络;

训练好的多智能体深度强化学习网络包括:训练好的多智能体深度强化学习评估网络和训练好的多智能体深度强化学习目标网络;

步骤6、将实际路网在时刻交叉口i的交通状态输入训练好的多智能体深度强化学习评估网络,输出交叉口i在时刻的个体动作函数值;

基于个体动作函数值选择最优动作,将最优动作下发到交叉口i;

所述步骤1中数据采集;具体过程为:步骤1.1、将协同控制范围内的交叉口记为i,交叉口i为路交叉口,表示交叉口i的邻接交叉口集合,I表示路网中的交叉口个数;

将交叉口i的进口车道数记为,;

将交叉口i的进口车道长度记为,单位为m,,表示交叉口i的某个进口车道;

将交叉口i的出口车道数记为;

将交叉口i的出口车道长度记为,单位为m,,表示交叉口i的某个出口车道;

令表示交叉口i的信号相位数,将相位在每周期的绿灯显示时间记为,;

步骤1.2、用变量u表示交通时段,表示高峰时段,表示平峰时段;

利用交通检测设备统计交叉口i连续一个星期内高峰时段及平峰时段的交通流量,并汇总为真实数据集,将交叉口i的小时交通量记为,,单位为辆;

步骤1.3、定义交叉口相位的车流数为F,利用下式计算交叉口相位的关键车流;

(1)

式中,、、分别为车流1、2、F的平均小时交通量,单位为辆;

为取最大值操作;为取下标操作;

将所行驶的车道定义为;

将的小时交通量记为,单位为辆;

将交叉口i中与同一行驶方向的车道数记为;

将上游交叉口中汇入的车流所对应的车道数记为;

将驶向的下游交叉口的出口车道数记为;

令表示交叉口i与的上游交叉口停车线之间的距离,单位为m;

令表示交叉口与的下游交叉口停车线之间的距离,单位为m;

步骤1.4、由公式(2)计算交叉口i与的上游交叉口间的异质相关性,记为;

(2)

式中,表示缩放因子;

步骤1.5、由公式(3)计算交叉口i与的下游交叉口间的异质相关性,记为;

(3)

所述步骤2中仿真平台搭建及初始化;具体过程为:仿真平台选用SUMO软件;

在仿真开始时,将环境时间设为0,即令,,为仿真的最大持续时间;

步骤1采集的数据输入SUMO软件,在SUMO软件中配置为不同交通时段下的道路拓扑文件以及车辆路径分配文件;SUMO软件输出交叉口的交通状态、路网的交通状态、奖励函数;

所述将步骤1采集的数据输入SUMO软件,在SUMO软件中配置为不同交通时段下的道路拓扑文件;SUMO软件输出交叉口的交通状态、路网的交通状态、奖励函数;具体过程为:步骤2.1、获取交叉口的交通状态;具体过程为:步骤2.1.1、统计交叉口i在时刻方向进口车道的车辆数以及排队车辆数,单位为辆;;

由公式(4)、(5)计算交叉口i在时刻方向进口车道的交通密度与排队密度,单位为辆/米;

将时刻交叉口i所有方向进口车道的交通密度与排队密度组成交叉口i在t时刻的进口车道交通状态,记为;

(4)

(5)

步骤2.1.2、统计交叉口i在时刻方向出口车道上的车辆数,单位为辆;

由公式(6)计算交叉口i在时刻方向出口车道的剩余空间指标;

令时刻交叉口i所有方向出口车道的剩余空间指标构成交叉口i在t时刻的出口道交通状态,记为;

(6)

式中,表示车道所能容纳的最大车辆数,单位为辆;

步骤2.1.3、将东西直行相位的编号设置为0,顺时针依次编号,统计交叉口在时刻显示绿灯的相位编号,记为;

令的集合表示交叉口i在t时刻的交通状态,记为;

步骤2.2、获取路网的交通状态;具体过程为:步骤2.2.1、利用公式(7)计算交叉口i在t时刻的平均交通密度,单位为辆/米;

利用公式(8)计算交叉口i在t时刻的平均排队密度,单位为辆/米;

二者的集合构成路网环境下交叉口i在t时刻的平均进口道交通状态;

(7)

(8)

步骤2.2.2、采用公式(9)计算交叉口i在t时刻的平均剩余空间指标;

此时交叉口i在t时刻的平均出口道交通状态等同于;

(9)

步骤2.2.3、将的集合定义为交叉口i在t时刻的瞬时交通状态;

步骤2.2.4、统计从起始时刻开始时段内驶入路网的车辆数、驶出路网的车辆数,单位为辆;

令的集合表示t时刻整体路网的交通状态;

步骤2..3、获得奖励函数;具体过程为:步骤2.3.1、由公式(10)计以t-1时刻为起始的时段内交叉口采取动作所能获得的奖励:(10)

式中,表示在以t-1时刻为起始的时段内的车均延误,单位为s;

表示在以t-1时刻为起始的时段内的通行量,即驶离停车线的车辆数,单位为辆;

、分别是车均延误与通行量所对应的权重值,其中为负值,为正值;

步骤2.3.2、利用公式(11)计算全局奖励为各交叉口的奖励之和:(11)。

2.根据权利要求1所述的考虑交叉口异质性的多智能体强化学习交通信号协同控制方法,其特征在于:所述步骤3中多智能体深度强化学习网络搭建及初始化;具体过程为:步骤3.1、构建多智能体深度强化学习网络;

所述多智能体深度强化学习评估网络包括时空特征提取层、个体值函数拟合层和全局值函数拟合层;

多智能体深度强化学习评估网络简称评估网络,用表示多智能体深度强化学习评估网络中的可训练参数,包括权重值以及偏差项;

构建与评估网络结构相同的网络,命名为多智能体深度强化学习目标网络,简称目标网络,用表示多智能体深度强化学习目标网络中的可训练参数,包括权重值以及偏差项;

所述多智能体深度强化学习目标网络包括时空特征提取层、个体值函数拟合层和全局值函数拟合层;

步骤3.2、设定评估网络训练所需要的固定参数的取值,具体包括:最大动作探索概率为、最小动作探索概率为、训练过程中从经验池中随机抽取的样本条数为B、基础经验数为、奖励函折扣因子为、经验池大小为M、学习率为lr、网络更新频率为u、最大迭代次数为J;

步骤3.3、将仿真平台输出交叉口的交通状态、路网的交通状态、奖励函数作为多智能体深度强化学习网络的输入,多智能体深度强化学习网络输出各交叉口的个体动作函数值。

3.根据权利要求2所述的考虑交叉口异质性的多智能体强化学习交通信号协同控制方法,其特征在于:所述步骤5中重复执行步骤4对多智能体深度强化学习网络进行训练,直至收敛,获得训练好的多智能体深度强化学习网络;

训练好的多智能体深度强化学习网络包括:训练好的多智能体深度强化学习评估网络和训练好的多智能体深度强化学习目标网络;

具体过程为:

步骤4.1、设置最大迭代次数为J;

初始迭代次数被设置为0,即j=0,同时随机初始化;

步骤4.2、判断j是否能够整除u;如果是,将赋值给;如果否,多智能体深度强化学习目标网络中的可训练参数不变;

所述j为迭代次数,u为网络更新频率;

所述表示多智能体深度强化学习评估网络中的可训练参数,包括权重值以及偏差项;

所述表示多智能体深度强化学习目标网络中的可训练参数,包括权重值以及偏差项;

步骤4.3、判断当前仿真时间是否小于最大仿真时间,如果是,执行步骤4.4,否则仿真结束;

步骤4.4、获得训练好的多智能体深度强化学习网络;

步骤4.4.1、将交叉口i在t时刻的交通状态输入时空特征提取层提取交叉口时空特征;

步骤4.4.2、将路网的交通状态和交叉口时空特征输入个体值函数拟合层,计算交叉口个体动作函数值;

步骤4.4.3、定义t时刻所有交叉口的动作集合为路网在t时刻的联合动作,记为;

步骤4.4.4、将t时刻所有交叉口的交通状态集合定义为路网在t时刻的联合状态,记为;

步骤4.4.5、将的集合作为一条样本经验存到经验池;

生成随机数,;

如果,交叉口i在动作、、中随机选择一种动作,作为定义的t时刻所有交叉口的动作集合中第i个动作;反之选择中的最大值所对应的动作,作为定义的t时刻所有交叉口的动作集合中第i个动作;是探索概率,;

步骤4.4.6、将赋值给t;

将选择后的动作通过SUMO软件中的Traci交通控制接口发送给SUMO软件;

步骤4.4.7、统计经验池中的样本条数,记为b;

如果,执行步骤4.3;反之执行步骤4.4.8;

为基础经验数;

步骤4.4.8、计算样本经验的值函数:具体过程为:步骤4.4.8.1、从经验池中随机抽取B条样本经验;

步骤4.4.8.2、基于评估网络的全局值函数拟合层,利用样本经验中的、计算样本经验在评估网络中的动作函数值;

步骤4.4.8.3、基于目标网络全局值函数拟合层,利用样本经验中的计算样本经验在目标网络中的动作函数值;

步骤4.4.9、基于目标网络中的动作函数值计算经验中交叉口i在时刻的目标标签,记为;;

(12)

步骤4.4.10、用公式(13)计算所抽取的B条数据的损失函数;

(13)

步骤4.4.11、基于损失函数采用梯度下降的方式更新网络权重,判断j是否小于J;如果是,执行步骤4.2,将j+1赋值给j;反之获得训练好的多智能体深度强化学习网络。

4.根据权利要求3所述的考虑交叉口异质性的多智能体强化学习交通信号协同控制方法,其特征在于:所述步骤4.4.1中将交叉口i在t时刻的交通状态输入时空特征提取层提取交叉口时空特征;具体过程为:步骤4.4.1.1、利用GAT网络获取交叉口的状态信息;具体过程为:步骤4.4.1.1.1、利用GAT网络中的投影矩阵将交叉口以及交叉口的邻接交叉口的交通状态信息与进行线性化处理,线性化处理后将交叉口特征顺序拼接,映射为标量:(14)

式中,表示特征顺序拼接,即向量横向拼接;;

步骤4.4.1.1.2、通过激活单元将进行非线性转换,获得t时刻目标交叉口与邻接交叉口之间的注意力系数;

(15)

步骤4.4.1.1.3、利用函数对交叉口与交叉口的邻接交叉口之间的注意力系数进行归一化处理,并结合各邻接交叉口的交通状态信息与激活函数获得交叉口的状态信息:(16)

步骤4.4.1.2、利用单层全连接神经网络将交叉口的状态信息统一转换到高维的向量空间得到个体值函数网络的中间变量;

(17)

式中,是单层全连接神经网络中可训练的权重参数;

步骤4.4.1.3、利用GRU网络提取交叉口时空特征;具体过程为:步骤4.4.1.3.1、用交叉口时空特征表示t时刻GRU网络的输出结果;

步骤4.4.1.3.2、以t-1时刻的以及为GRU网络输入,利用公式(18)-(19);获取重置门和更新门的门控信号、;

(18)

(19)

式中,、、、是GRU网络中可训练的权值参数,、是GRU网络中可训练的偏差项;

步骤4.4.1.3.3、基于由公式(20)获取GRU网络中间变量:(20)

式中,、是GRU网络中可训练的权值参数,是GRU网络中可训练的偏差项,表示张量之间的点状乘法;

步骤4.4.1.3.4、利用与实现的更新:(21)

步骤4.4.1.4、利用全连接层转换向量维度得到包含交叉口时空特征的输出结果:(22)

式中,是全连接层中可训练的权值参数。

5.根据权利要求4所述的考虑交叉口异质性的多智能体强化学习交通信号协同控制方法,其特征在于:所述步骤4.4.2中将路网的交通状态和交叉口时空特征输入个体值函数拟合层,计算交叉口个体动作函数值;具体过程为:步骤4.4.2.1、将交叉口i在t时刻对于信号相位的调整定义为动作,记为;

表示保持相位的绿灯显示时间不变;

表示延长相位的绿灯显示时间秒;

表示减少相位的绿灯显示时间秒;

步骤4.4.2.2、以和t-1时刻的动作(时令)为个体值函数拟合层的输入,基于公式(23)-(26)个体值函数拟合层输出时刻交叉口的状态函数值与动作优势函数值:(23)

(24)

(25)

(26)

式中,是激活函数;与分别表示个体值函数中间网络的输出结果;、、、是个体值函数网络中可训练的权重值;、、、是个体值函数网络中可训练的偏差项;

步骤4.4.2.3、利用公式(27)计算交叉口i在t时刻的个体动作函数值;

(27)。

6.根据权利要求5所述的考虑交叉口异质性的多智能体强化学习交通信号协同控制方法,其特征在于:所述步骤4.4.8中计算样本经验的值函数:具体过程为:步骤4.4.8.1、从经验池中随机抽取B条样本经验;

步骤4.4.8.2、基于样本经验中的、计算样本经验在评估网络中的动作函数值;

步骤4.4.8.3、基于样本经验中的计算样本经验在目标网络中的动作函数值;

所述步骤4.4.8.2中基于样本经验中的、计算样本经验在评估网络中的动作函数值;具体过程为:步骤4.4.8.2.1、在评估网络中由公式(14)-(26)计算各样本经验中交叉口i在-1时刻的状态函数值与动作优势函数值、;

步骤4.4.8.2.2、在评估网络中由公式(28)-(33)计算各样本经验中交叉口i在-1时刻路网的交通状态下交叉口i的个体状态函数值与动作优势函数值、:(28)

(29)

(30)

(31)

(32)

(33)

式中,与是计算与所用到的权值与偏差项;与是计算与的中间网络的输出结果;、、、是个体值函数网络中可训练的权重值;、、、是个体值函数网络中可训练的偏差项;

对于评估网络,是各条经验中存储的交叉口i在t-1时刻实际采取的动作所对应的优势函数值;

步骤4.4.8.2.3、以-1时刻交叉口i的个体状态函数值的加和作为联合状态下的状态函数值:(34)

步骤4.4.8.2.4、基于以及,按式(35)-(39)计算各交叉口动作调整对于路网整体状态改变的重要程度:(35)

(36)

(37)

(38)

(39)

式中,是交叉口i的特征键值;是权重系数;与分别是中间变量;为路网在-1时刻的联合动作;、、、是个体值函数网络中可训练的权重值;、、、是个体值函数网络中可训练的偏差项;

步骤4.4.8.2.5、基于,由公式(40)计算联合状态下的动作优势函数值;

(40)

步骤4.4.8.2.6、基于公式(41)计算路网在t-1时刻的动作函数值;

(41)

所述步骤4.4.8.3中基于样本经验中的计算样本经验在目标网络中的动作函数值;具体过程为:步骤4.4.8.3.1、在目标网络中用公式(14)-(27)计算各样本经验中交叉口i在时刻的状态函数值、动作优势值与个体动作函数值;

步骤4.4.8.3.2、在目标网络中用与步骤4.4.8.2相同的计算方式计算各样本经验中交叉口i在时刻的动作函数值;

对于目标网络,公式(33)中是中数值最大的动作所对应的优势函数值。

7.根据权利要求6所述的考虑交叉口异质性的多智能体强化学习交通信号协同控制方法,其特征在于:所述步骤6中将实际路网在时刻交叉口i的交通状态输入训练好的多智能体深度强化学习评估网络,输出交叉口i在时刻的个体动作函数值,基于个体动作函数值获得动作,将动作下发到交叉口i;具体过程为:步骤6.1、利用检测设备获取实际路网在时刻交叉口i的交通状态;

步骤6.2、以为训练好的评估网络的输入,输出交叉口i在时刻的个体动作值函数;

步骤6.3、选择中最大值所对应的动作;

步骤6.4、将下发到交叉口i;

步骤6.5、将+1赋值给;

步骤6.6、判断是否能够整除;如果是,执行步骤6.1;反之执行步骤6.5。