1.一种基于深度强化学习的网联车辆协同控制方法,其特征在于,该方法包括以下步骤:步骤1.通过自动驾驶车辆真实轨迹或者仿真数据构建专家数据集D,以专家数据集D作为模仿学习的样本数据,通过行为克隆算法生成行为决策网络Φ;
步骤2.构建多智能体强化学习框架,所述多智能体强化学习框架采用actor-critic框架,将网联车辆视为强化学习中的智能体,每个智能体对应一个策略网络和一个价值网络;将由m个智能体组成的车群范围称为F局部状态
全局状态
式中,
动作空间
式中,At指联合动作,
奖励函数
式中,Rt表示为t时刻采取行动后根据环境的变化给与多智能体系统的奖励值,搭建策略网络和价值网络,所述价值网络包括循环层,多头注意力层和全连接层,每个智能体观测的变长序列所述策略网络包括循环层、全连接层,每个智能体观测的变长序列步骤3. 对步骤S2搭建的价值网络和策略网络进行训练,中心化训练时将价值网络和所有的策略网络都部署到中央控制器上,具体训练步骤如下:步骤3.1. 构建交通仿真场景,将车流数据输入步骤1中搭建的行为决策网络Φ,通过仿真收集经验四元组(St,At,Rt,St+1)并放入经验回放缓存;其中,得到
式中,
步骤3.2.运行仿真;
根据定义的Fm范围分类收集经验,构成经验回放缓存;
步骤3.3.初始化策略网络和价值网络;其中,策略网络参数为步骤3.4.从经验回放缓存中随机抽取一个四元组(St,At,Rt,St+1);
步骤3.5. n个智能体的目标策略网络进行预测,计算t+1时刻目标动作汇总t+1时刻所有智能体,得目标动作步骤3.6. n个智能体的目标价值网络进行预测,计算t+1时刻的目标q值步骤3.7. TD算法更新价值网络参数;
计算TD目标
式中,γ为折扣率;
计算t时刻的q值,即
计算TD误差
TD算法更新价值网络参数:
式中,
步骤3.8.确定性策略梯度算法更新策略网络参数;
计算t时刻预测的动作
汇总为t时刻所有智能体预测的动作
汇总为
更新策略网络参数;
式中,
步骤3.9.更新策略网络和价值网络的其他参数,包括目标策略网络参数、目标价值网络参数、策略网络循环层参数、价值网络循环层参数和多头自注意力层参数;
步骤3.10.重复步骤3.1-3. 9,持续训练并向经验回放缓存添加经验;
步骤3.11.收敛判别,非完全合作关系下,训练收敛的判别标准是纳什均衡;
步骤4.训练完成后,策略网络即为控制网络,通过V2X通信部署到车端,车端通过感知获取所需信息,输入控制网络得到控制措施,完成网联车辆的协同控制。
2.根据权利要求1所述的一种基于深度强化学习的网联车辆协同控制方法,其特征在于,所述步骤1具体包括以下步骤:步骤1.1. 构建自动驾驶车辆轨迹专家数据集D,所述专家数据集D包括真实的自动驾驶车辆轨迹或者仿真数据的每时间步的自车属性信息和感知范围内周围车辆属性信息;
步骤1.2.构建深度循环神经网络处理步骤1.1中的时序数据,所述深度循环神经网络为LSTM长短时记忆网络;
步骤1.3.利用训练集数据对LSTM长短时记忆网络进行训练;所述训练集数据为每个时间步的自动驾驶车自身属性和感知范围内周围车辆属性数据,其中标签数据为下一时间步自动驾驶车辆加速度和转向角的二维数据;
步骤1.4.将训练完成的LSTM长短时记忆网络记为行为决策网络Φ。
3.根据权利要求2所述的一种基于深度强化学习的网联车辆协同控制方法,其特征在于,步骤1.1中,自车属性信息包括位置,速度,加速度,转向角,车道;周围车辆属性信息包括速度,位置,加速度,转向角及拓扑关系;感知范围内周围车辆是指与自动驾驶车辆同一车道的前一辆车V1和后一辆车V2以及另一车道上处于V1与V2长度区间内的所有车辆。
4.据权利要求3所述的一种基于深度强化学习的网联车辆协同控制方法,其特征在于,步骤1.2中,LSTM长短时记忆网络的输入式中,n表示感知范围内包括自动驾驶车辆在内共有n辆车,
5.根据权利要求4所述的一种基于深度强化学习的网联车辆协同控制方法,其特征在于,步骤2中,式中,
6.根据权利要求4所述的一种基于深度强化学习的网联车辆协同控制方法,其特征在于,步骤3中,目标策略网络参数、目标价值网络参数更新方式为:式中,
7.根据权利要求6所述的一种基于深度强化学习的网联车辆协同控制方法,其特征在于,步骤3中,折扣率γ为0.9,学习率α为1e-4,学习率β为1e-3,学习率