1.基于时空卷积注意力机制的多智能体交通信号控制方法,其特征在于,具体包括以下步骤:步骤1、将区域内的多交叉口交通网络建模为多智能体系统,定义状态、动作和奖励;
步骤2、使用卷积注意力机制网络对状态进行预处理,通过引入通道注意力和空间注意力两个子模块,分别对状态特征图的通道维度和空间维度进行加权,突出重要特征并抑制冗余信息;
步骤3、基于时空注意力机制的深度强化学习算法设计交叉口信号灯控制神经网络模型,所述模型包括两个卷积层和CBAM模块,所述CBAM模块用于增强特征图中的重要特征;
步骤4、通过多智能体协同控制算法训练多交叉口信号协调控制模型,智能体与环境交互时考虑邻域智能体状态和奖励的影响,生成对当前全局状态的最佳动作响应;
通道注意力机制的计算公式为:
;
其中,和分别表示通道维度中的平均池化和最大池化操作数;和表示共享多层感知器的权重参数;表示Sigmoid激活函数;
而空间注意力机制的计算公式为:
;
其中,和分别表示空间维度中的平均池化和最大池化操作;表示内核大小为7×7;表示Sigmoid激活函数;
在步骤4中,多智能体交通信号协同控制方法的流程包括:初始化状态空间、动作空间、主网络和目标网络;
智能体采用ε-greedy策略进行决策,平衡探索和利用;
智能体执行选择的动作后,环境反馈相应的信息,并将经验序列存放在Replay缓冲区中;
根据优先级经验回放策略,从经验回放池中抽取经验数据,计算损失函数并更新主网络参数;
在步骤4中,损失函数的计算公式为:
;
其中,为奖励值,为折扣因子,为主网络的动作值函数,为目标网络的参数,表示在线网络在状态下输出的最高动作值所对应的动作,表示目标网络在状态下,根据在线网络选择的动作输出的动作值。
2.根据权利要求1所述的基于时空卷积注意力机制的多智能体交通信号控制方法,其特征在于,在步骤1中,区域交叉路口交通状态的定义包括:将交通环境视为由多个交叉路口组成的交通网格,每个交叉路口有四个方向,每个方向的边缘由四条车道组成,分别是直车道、左转车道和右转车道;
每个交叉路口的状态空间定义为:
;
其中,表示路网中交叉口i的驶入车道l中车辆的位置矩阵,表示交叉口i的驶入车道l中车辆的速度矩阵;当前交叉口i联合状态空间由当前智能体本地状态空间和邻域智能体的状态空间组成,表示为:;
其中,表示在时间t时交叉口本地状态信息;表示相邻路口状态信息的集合;为邻居节点集合。
3.根据权利要求2所述的基于时空卷积注意力机制的多智能体交通信号控制方法,其特征在于,在步骤1中,动作空间包含四个相位空间,分别为南北向直行右转、南北向左转、东西向直行右转和东西向左转。
4.根据权利要求3所述的基于时空卷积注意力机制的多智能体交通信号控制方法,其特征在于,在步骤1中,奖励函数定义为多目标优化奖励,表示为:;
其中,表示前一时刻交叉口所有车道车辆排队长度的总和;表示前一时刻交叉口所有车道车辆等待的总和;为在t时刻,车道j的红灯持续时间,C为驾驶员可以忍受的红灯最长时间。
5.根据权利要求4所述的基于时空卷积注意力机制的多智能体交通信号控制方法,其特征在于,在步骤1中,使用加权和的方式将智能体奖励与相邻域的奖励结合到一起,引入空间折扣因子使邻域中智能体的奖励值与两个智能体之间的距离正相关,距离越近,获得的相邻智能体的奖励值就越大,空间折扣因子表示为:;
其中,表示节点i和节点j之间的距离,;是折扣系数;
智能体奖励函数定义为当前时刻本地环境获得奖励与邻域内所有智能体奖励的和,表示为:;
其中,是智能体获得本地奖励;是智能体获得的相邻智能体j的奖励信息,为空间折扣因子。
6.根据权利要求1所述的基于时空卷积注意力机制的多智能体交通信号控制方法,其特征在于,在步骤3中,深度强化学习算法的网络结构包括:第一卷积层,用于提取归一化后的车辆速度信息和车辆位置信息的特征;
CBAM模块,用于对特征图进行通道注意力和空间注意力处理;
第二卷积层,用于进一步处理特征图;
全连接层,用于生成状态值和动作优势值。
7.基于时空卷积注意力机制的多智能体交通信号控制系统,包括交通信号控制模块,用于执行根据权利要求1-6任一项所述的基于时空卷积注意力机制的多智能体交通信号动态协同控制方法,其特征在于,还包括:交通仿真环境模块,用于模拟多交叉口交通网络,并提供交通流量数据和状态信息;
智能体模块,用于与交通仿真环境模块交互,执行信号控制策略并收集反馈信息;
经验回放模块,用于存储智能体与交通仿真环境交互的经验数据,并用于训练交通信号控制模块。