1.一种基于深度强化学习算法的车辆编队规划控制方法,其特征在于,包括如下步骤:S1.构建考虑了车辆道路坡度影响的油耗模型,并根据所述油耗模型计算车辆的瞬时燃油消耗量和期望速度;
所述油耗模型表达为:;式中,和分别表示车辆的燃油消耗率和机械功率,表示燃料与空气的比例,是燃油的热值,、、和分别为发动机的摩擦系数、发动机转速、排气量和换算系数,和分别为发动机和传动系统的效率参数;
S2.将3-DOF车辆动力学模型与车道保持模型相结合,建立车辆队列模型;
S3.依据所述车辆队列模型为每一辆跟随车辆设计局部预测控制器;
S4.构建深度强化学习算法迭代过程中的约束条件以及以车辆的瞬时燃油消耗量和期望速度为参数的奖励函数;
所述深度强化学习算法的迭代过程包括actor策略函数神经网络与critic价值函数神经网络的交替收敛迭代;所述actor策略函数神经网络以状态为输入量、以动作为输出量;
所述深度强化学习算法迭代过程中的约束条件为对所述actor策略函数神经网络的输出动作施加约束范围,且所述约束范围表示为:;式中,和分别表示状态的最大值和最小值;
定义车辆实际速度与期望速度的误差为,获得以车辆的期望速度为参数的奖励函数表达为:;
定义表示车辆的瞬时燃油消耗量,获得以车辆的瞬时燃油消耗量为参数的奖励函数表达为:;
定义表示车队内部的车-车距离,表示期望的内部车间距,车间距误差为,获得以车队内部的车-车距离为参数的奖励函数表达为:;
定义表示车队与前方外部车辆的距离,表示车队与前方外部车辆的安全距离,获得以车队与前方外部车辆的距离为参数的奖励函数表达为:;
定义表示车辆的横向位置偏差,获得以车辆的横向位置偏差为参数的奖励函数表达为:;
提供一复合奖励函数,表达为:;
S5.利用深度强化学习算法求解所述局部预测控制器的最优控制策略,并通过所述局部预测控制器将该最优控制策略作用于目标跟随车辆。
2.根据权利要求1所述的基于深度强化学习算法的车辆编队规划控制方法,其特征在于,所述3-DOF车辆动力学模型表达为:;式中,分别为纵向速度、横向速度和横摆角速度,为纵向力,,分别为前、后轮侧向力,为车辆质量,为车辆绕轴的转动惯量,为前轮转角,,分别为质心到前、后轴的距离。
3.根据权利要求2所述的基于深度强化学习算法的车辆编队规划控制方法,其特征在于,所述车道保持模型表达为:;式中,为期望航向角速度,为预瞄距离,为纵向车间距误差,为车辆与车道线的横向位置误差,为车辆航向角与道路切线的航向角误差。
4.根据权利要求3所述的基于深度强化学习算法的车辆编队规划控制方法,其特征在于:所述actor策略函数神经网络用于优化控制策略的策略参数;
所述critic价值函数神经网络用于评估所述actor策略函数神经网络所优化的当前策略参数的优劣。
5.根据权利要求4所述的基于深度强化学习算法的车辆编队规划控制方法,其特征在于:所述actor策略函数神经网络包括1个输入层、4个全连接层、4个ReLU 激活层、1个tanhLayer 和1个scalingLayer,且所述actor策略函数神经网络以状态为输入量、以动作为输出量;
所述critic价值函数神经网络包括1个输入层、4个全连接层、4 个ReLU 激活层、1个加法层和 1个输出层,且所述critic价值函数神经网络以状态和动作为输入量、以状态-动作价值为输出量。
6.根据权利要求5所述的基于深度强化学习算法的车辆编队规划控制方法,其特征在于,所述的利用深度强化学习算法求解所述局部预测控制器的最优控制策略包括:初始化所述actor策略函数神经网络权重与所述critic价值函数神经网络权重;
所述actor策略函数神经网络根据目标跟随车辆当前的状态获得动作,并将动作作用于目标跟随车辆得到新的状态和即时奖励;
所述actor策略函数神经网络根据新的状态获得新的动作;
所述critic价值函数神经网络对动作和进行评估打分得到与,然后根据贝尔曼方程计算得到所述critic价值函数神经网络的预测值与期望值之间的误差:,;
采用梯度下降法最小化迭代更新所述权重和所述权重,获得最优控制策略,且,。