1.一种基于交叉口全息数据的单点交通信号控制方法,其特征在于,包括下列步骤:采集初始全息交通数据;
全息交通数据处理;
构建包含多个智能体的深度强化学习模型;
构建包含多个智能体的深度强化学习模型的过程中,交通信号控制智能体Agent选用MARDDPG算法进行深度强化学习,并分别进行状态空间S、动作空间A和奖励值R定义;
参与者网络的输入为智能体Sti=(P,V,L),其中P,V是同维度矩阵,维数为45×m,将P矩阵与V矩阵组合为双通道图像,输入至堆叠子网络;子网络包含两个卷积层,第一卷积层包含32个滤波器,每个大小为4×4,应用跨距(2,2);第二卷积层包含64个滤波器,每个大小为2×2,应用跨距(2,2);使用完全连接层将相位矩阵L编码为8维向量;将所有网络的输出连接成一个向量,所有智能体合成所得的向量被分别发送到含有64个隐藏单元的LSTM,通过softmax激活函数输出动作预测值Q(S,A);
使用MARDDPG算法进行神经网络训练;
使用MARDDPG算法进行神经网络训练的过程,包括下列步骤:步骤1:参与者网络与评论家网络初始化参数化动作选择策略其中为参与者网络中的第i个智能体某个时间步t的历史记忆数据,而评论家网络历史记忆数据同样定义为网络中的第i个智能体某个时间步t的历史记忆数据;构建并参数化评论家网络中的值函数值函数中的输入包括了历史状态h与参与者网络选择的动作a;分别地,初始化所有目标网络的权重θ'i和初始化重放缓冲区D,时间步清零,参与者网络读取初始状态st,i;
步骤2:每隔5秒钟,单个智能体通过动作选择策略其中为当前时间步探索噪声;参与者网络在动作集合Ai中选择动作at,i并执行,执行后接收奖励值rt,i与新的状态st+1,i,产生新的历史数据步骤3:将已进行过的{s1,i,a1,i,r1,i,s2,i,a2,i,r2,i,…}存入重放缓冲区D,采样数目不少于20000个;智能体i采样M个存于重放缓冲区D中的历史训练步用于训练参与者与评论家网络;
步骤4:智能体选择M个历史训练步数据后,利用M中某个minibatch使评论家网络通过步骤1构建的值函数估计Q值,并通过最小化平均损失函数来更新评论家目标网络中参数式中minibatch表示为m;与其相似地,参与者网络通过损失函数计算策略梯度,来更新参与者目标网络中参数θi;
用于更新的损失函数具体如下:
表示所有智能体评论家网络M个minibatch选取动作的Q值平均值;为总奖励值;γ为折减系数;表示评论家网络中下一时间步所有智能体的Q值之和;
用于更新θi的目标函数具体如下:
为了最大化未来预期奖励来更新参与者网络,定义J(θi)以找到最大化累计奖励的方向;
步骤5:智能体采用“软更新”的方式来更新目标网络的参数与θ'i,首先定义一个根据主网络更新目标网络的速率τ(0<τ<1);利用当前网络的参数和目标网络参数的凸组合更新目标网络,如下式:θ'i=τθi+(1-τ)θ'i
重复步骤2至步骤5,当时,已达到可遍历的状态空间中的最优,智能体完成训练;
使用训练完成的神经网络进行信号控制。
2.如权利要求1所述的基于交叉口全息数据的单点交通信号控制方法,其特征在于,所述全息交通数据包括目标车辆运行数据、车道级交通数据、交叉口设计现状和交通信号控制现状,其中目标车辆运行数据包括目标车辆含时间戳ID、车辆类型、车辆纵向速度、车辆所在车道号码和车辆距停车线距离,车道级交通数据包括目标车道排队长度、车辆总等待时间、平均延误和通过停止线车辆数,交叉口设计现状包括交叉口各进口道车道数量和车道功能分布,交通信号控制现状包括交叉口现状相序和各相位时长分布。
3.如权利要求1所述的基于交叉口全息数据的单点交通信号控制方法,其特征在于,全息交通数据处理的过程,包括下列步骤:
删除冗杂数据;
删除轨迹异常数据;
采用线性函数插值法进行噪声轨迹数据补全。
4.如权利要求1所述的基于交叉口全息数据的单点交通信号控制方法,其特征在于,使用训练完成的神经网络进行信号控制的过程,具体为根据智能体构建要求采集实时全息数据,输入信号控制智能体,通过智能体输出的各相位信号时长改变动作,生成相位时间矩阵G':G'=[G1'G2'G3'…Gn']。