1.基于多智能体强化学习的多路口交通信号灯公平控制方法,其特征在于,包括以下步骤:S100、建立多路口交通信号灯调度模型进行交通信号灯相位调度;
S200、结合反事实数据增强过程和自监督状态表示学习过程建立公平性感知的动作决策模型衡量交通信号灯相位调度的不公平程度;其中:反事实数据增强过程:通过生成对抗网络近似得到环境状态转移函数,然后利用反事实学习以推断未发生的交互数据,进而丰富交互数据的多样性,帮助提升模型训练的样本效率;
自监督状态表示学习过程:通过自监督学习方法训练状态编码器,通过将状态编码器网络从Q-网络中分离出来,并设置自监督学习辅助任务增加额外的网络训练损失,以改善状态表示,实现从高维交通数据中提取有效特征,进而提高模型的样本效率;
公平性感知的多智能体强化学习任务具体包括:
状态:在一个多路口交通信号灯控制任务中,每个智能体的局部观测值包含四种信息:(1)当前的信号灯相位,(2)当前路口所有入车道中的等待车辆的数目,(3)基于额外等待时间的公平性度量指标以及(4)邻居路口的路况信息;其中,等待车辆数目用于反映不同信号灯相位的性能需求,公平性度量指标用于体现动作决策的不公平程度,邻居信息用于实现多个路口交通信号灯的协作调度;
动作:动作定义为从候选的信号灯相位集合中选取下一个时段要调度的相位,即每间隔时长,每个智能体选择下一个时间间隔内要调度的信号灯相位,其中候选集合中共有四种可选的相位;在动作集合中,每个动作由一个8-维度的向量表示,分别对应不同的交通流方向,其中1表示允许相应的交通流通行,0表示禁止相应的交通流通行;
奖励函数:每个智能体将从环境中获得即时奖励,奖励函数定义为关于路口队列长度和公平性度量指标的函数,具体定义为:;
其中表示当前路口中入车道的队列长度,表示时刻的基于额外等待时间的公平性度量指标,是超参数用于权衡模型性能和决策公平性之间的重要程度;
在训练过程中,采取深度Q-网络算法用于模型训练,它包括一对Q-网络和目标Q-网络,分别被和参数化;Q-网络更新时采用时间差分法进行更新,其损失函数为:;
;
其中,表示用于计算累积奖励的折扣因子,以平衡长期奖励和立即奖励;
反事实数据增强过程具体包括:定义表示一组观测变量,结构因果模型的定义为,其中表示的父变量,表示噪声,函数表示因果机制,它能够建立,和之间的关系;在强化学习中,智能体在给定状态执行动作,然后观察到环境反馈的后续状态;基于结构因果模型,通过推断事实情况的反事实结果,即通过在相同的环境状态中推断执行随机动作的影响,得到预测的下一时刻状态;假设时刻的状态满足结构因果模型,则它的定义如下:;
其中表示因果机制函数;和分别表示状态和动作变量;表示由于未观测因素导致的噪声,它独立于和;
通过生成对抗网络近似获得状态转移函数,即因果函数;交替地训练判别器和生成器,使得生成器生成的假样本能欺骗判别器,同时,训练后的生成器被用作因果函数,基于元组的前提下预测下一个状态,生成对抗网络的损失函数定义如下所示:;
;
其中表示交互数据元组,包含状态,动作和噪声;函数用于区分生成数据和原始数据的差异;函数表示生成网络用于近似替代因果函数;函数示判别器网络,用于区分真实交互数据和生成的数据;定义和分别表示下一个状态和交互元组的分布情况;
给定一条交互数据,将动作替换原有动作,预测下一时刻的环境状态;其中,动作是从动作集中随机采样的,然后连同其他原始的交互信息和传入生成器网络中,输出反事实结果;奖励值从状态信息中计算得出;得到反事实数据增强数据集,有利于提高强化学习方法的样本效率;
自监督状态表示学习过程具体包括:
状态编码器网络采用了注意力机制以实现多个交通路口之间的协作,生成的状态表示向量的定义如下:;
;
;
其中,是表示函数;是相似度函数,用于评估两个输入之间的相似度;表示当前路口的邻居路口的集合;注意力权重用于计算最终的表示向量;参数,和是可学习的参数;
自监督状态表示学习包含状态编码器网络、目标状态编码器网络和转移网络;其中,状态编码器网络表示为负责将状态映射到状态表示向量,该表示向量同时也用作Q-网络的输入信息;目标状态编码器表示为,它和状态编码器网络的功能相同,即以原始状态为输入,输出状态表示向量,它们具有相同的网络结构;转移网络表示为,以状态表示向量和动作作为联合输入信息,然后预测下一时刻的状态表示向量,实现了自监督学习中正例构建的目的;最后,预期的状态表示和原始的状态表示将用于计算自监督学习的损失函数,其定义如下:;
其中,表示批数据的大小;在目标状态编码器网络的网络参数的更新采用指数移动平均值的方式,参考状态编码器网络的参数进行更新,更新方式的定义如下:;其中和分别表示状态编码器网络和目标状态编码器网络的参数;
最终的损失中函数包含强化学习的目标函数和自监督表示学习的目标函数,它们采用随机梯度下降的方式进行联合训练,总损失函数表示为:,其中是一个超参数用于调节两种目标函数的权重;
S300、将不公平程度引入状态向量和奖励函数中实现公平的交通信号灯调度。
2.根据权利要求1所述的基于多智能体强化学习的多路口交通信号灯公平控制方法,其特征在于,多路口交通信号灯控制问题描述为:给定一个多路口交通信号灯调度任务,假设共有个路口的信号灯需要控制;每一个路口被表示为,为路口的索引值,包含东、南、西、北四个方向的道路并配备由强化学习策略控制的交通信号灯;每条道路包含三条车道,根据车辆行驶方向又划分为入车道和出车道,和分别表示路口的进车道和出车道集合;交通流表示车辆从入车道驶入路口,然后从出车道驶离,假设有三种类型的交通流:左转、直行和右转,它们分别受交通信号灯控制;表示所有交通流的结合;交通信号灯相位被定义为一组允许通行的交通流;信号灯相位的集合包含的四种信号灯相位,即,其中表示东西方向的直行交通流允许通行,表示北南方向的左转交通流允许通行,每个信号灯相位的最短执行时长为;在某个信号灯被触发执行期间,其他道路上等待车辆的数目表示为道路队伍长度;对于路口而言,路口的队列长度被定义为所有与之相连接的入车道队伍长度之和:;在此基础之上,每隔时长各个路口根据交通路况调度交通信号灯相位,最终实现最小化平均行驶时间。