1.基于多智能体强化学习的信号灯协同控制方法,其特征在于,所述方法包括:S1、收集各种传感器的数据和进行多模态定义,通过数据融合技术实时获取信息;
S2、采用协同车路多智能体强化学习算法对信号灯与车辆进行协同控制,通过学习找到最优策略来实现高效的交通流控制;
S3、根据各种传感器的收集数据进行预处理,利用特征融合方法将不同模态的数据融合,为每个智能体构建局部状态空间;
S4、为智能体设计动作空间;
S5、根据交通流控制的目标,为多智能体强化学习设计奖励函数;
S6、设计通信协议;
S7、使用历史数据或仿真环境对多智能体强化学习模型进行训练,找到最优策略;
所述S1中多模态定义包括视觉模态和雷达模态;所述视觉模态通过摄像头收集的图像数据;所述雷达模块通过雷达收集的距离和速度信息;所述信息包括路况信息、车辆位置和速度;
所述协同车路多智能体强化学习算法的目标函数定义为:奖励函数定义为R(s,a),其中s表示状态,a表示智能体的动作,通过调整所述智能体的动作以最大化累积奖励,表示为:J(θ)=∑_t R(s_t,a_t)
其中,J(θ)表示目标函数;s_t表示t时刻智能体所在的状态;a_t表示t时刻智能体所做的动作;
则损失函数L(θ)表示为:
L(θ)=0.5*E[(R(s,a)+γ*max_a'Q(s',a';θ')‑Q(s,a;θ))^2]其中,E[·]表示期望值,θ表示当前智能体的参数,θ'表示目标智能体的参数,γ为折扣因子,a'表示智能体在状态s'所做出的动作,Q(s,a;θ)为动作价值函数,用于估计在状态s下采取动作a的累积奖励;Q(s',a';θ')表示网络对在状态s'做出动作a'的动作价值评估,用于衡量的是在状态s'做出动作a'的动作的好坏;
所述协同车路多智能体强化学习算法的目标函数的实现步骤包括:S2.1、利用了集中式训练和分布式执行策略,通过在训练阶段进行集中式训练,实现智能体之间的协同,在执行阶段,各个智能体使用分布式策略,根据局部状态做出决策;
S2.2、通过所述步骤S1中各种传感器的数据,获取包含多模态信息的综合状态空间,使得智能体能够更准确地感知交通状况;
S2.3、将车辆和信号灯作为不同的智能体,实现车辆与信号灯之间的协同控制,提高交通流畅性。
2.根据权利要求1所述的基于多智能体强化学习的信号灯协同控制方法,其特征在于,所述数据融合技术具体为:S1.1、将场景建模为一个图结构;
S1.2、针对每种模态的数据进行特征提取;
S1.3、基于图卷积神经网络的特征融合;
S1.4、输出强化学习状态。
3.根据权利要求1所述的基于多智能体强化学习的信号灯协同控制方法,其特征在于,所述步骤S3中所述数据包括车辆数据、路况数据和信号灯数据。
4.根据权利要求3所述的基于多智能体强化学习及多模态信号感知的信号灯协同控制方法,其特征在于,所述状态空间表示如下:s={车辆数据,路况数据,信号灯数据}。
5.根据权利要求1所述的基于多智能体强化学习的信号灯协同控制方法,其特征在于,所述步骤S4具体包括:S4.1、将所述信号灯的控制策略离散化为一系列可选的动作;
S4.2、根据实时路况数据,动态调整所述信号灯的相位设置;
S4.3、设计自适应的信号灯控制策略。
6.根据权利要求1所述的基于多智能体强化学习的信号灯协同控制方法,其特征在于,所述通信协议包括车辆与路侧设施通信、信号灯之间的通信、中央控制器与信号灯通信和数据融合与处理。
7.根据权利要求1所述的基于多智能体强化学习的信号灯协同控制方法,其特征在于,所述步骤S7具体为:使用历史数据或仿真环境对多智能体强化学习模型进行训练,找到最优策略,将所述最优策略部署到信号灯控制系统。