1.一种基于强化学习算法的横纵耦合车辆编队预测控制方法,其特征在于,包括:S1.将考虑了非线性魔术公式轮胎模型的3‑DOF车辆动力学模型与车道保持模型相结合,建立车辆队列模型xi(k+1)=f(xi(k),ui(k));式中,xi(k)为状态量,ui(k)为输入量;
S2.构建分布式的控制框架,并在该控制框架下依据所述车辆队列模型为每一辆跟随车辆设计局部预测控制器式中,k为当前时刻,k+i为预测时域内第i时刻,xi(·)为预测状态,ri(·)为理想状态,与 表示车辆假设轨迹状态, 通过车辆间通信得到,Tp为预测时域,Qi,Fi,Gi,Ri为权重矩阵;
S3.利用强化学习算法求解所述局部预测控制器的最优控制策略,并通过所述局部预测控制器将该最优控制策略作用于目标跟随车辆。
2.根据权利要求1所述的一种基于强化学习算法的横纵耦合车辆编队预测控制方法,其特征在于,所述非线性魔术公式轮胎模型中轮胎侧向力采用以下魔术公式计算:y
Fi=Dsin(Carctan(Bα‑E(Bα‑arctanBα)));
式中,α为轮胎的侧偏角,B,C,D,E为仿真参数。
3.根据权利要求2所述的一种基于强化学习算法的横纵耦合车辆编队预测控制方法,其特征在于,所述3‑DOF车辆动力学模型表达为:th
式中各参数均为i 车的参数,且
x yf yr
分别为纵向速度、横向速度和横摆角速度,Fi 为纵向力,Fi ,Fi 分别为前、后z轮侧向力,mi为车辆质量,Ii 为车辆绕z轴的转动惯量,δi为前轮转角,ai,bi分别为质心到前、后轴的距离。
4.根据权利要求3所述的一种基于强化学习算法的横纵耦合车辆编队预测控制方法,其特征在于,所述车道保持模型表达为:式中, 为期望航向角速度,L为预瞄距离, 为纵向车间距误差, 为车辆与车道线的横向位置误差, 为车辆航向角与道路切线的航向角误差。
5.根据权利要求1所述的一种基于强化学习算法的横纵耦合车辆编队预测控制方法,其特征在于,利用所述强化学习算法求解所述局部预测控制器的最优控制策略时:搭建并训练actor策略函数神经网络,用于优化策略参数;
搭建并训练critic价值函数神经网络,用于评估所述actor策略函数神经网络所优化的当前控制策略的优劣;
根据所述actor策略函数神经网络与所述critic价值函数神经网络的交替收敛获取最优控制策略。
6.根据权利要求5所述的一种基于强化学习算法的横纵耦合车辆编队预测控制方法,其特征在于:优化策略参数时,所述actor策略函数神经网络采用Tp个径向基函数构成的网络逼近Tp步最优策略,且所述actor策略函数神经网络以状态s为输入量、以动作a为输出量;
评估当前控制策略的优劣时,所述critic价值函数神经网络采用Tp个径向基函数构成的网络执行评估,且所述critic价值函数神经网络以状态s和动作a为输入量、以状态‑动作价值q(s,a)为输出量。
7.根据权利要求6所述的一种基于强化学习算法的横纵耦合车辆编队预测控制方法,其特征在于:所述actor策略函数神经网络与所述critic价值函数神经网络中的基向量φ(x)与ψ(x)均为径向基函数,且式中,κ设置为1,{xi,i=1,2,…M}为径向基函数中心,M为隐含层个数。
8.根据权利要求7所述的一种基于强化学习算法的横纵耦合车辆编队预测控制方法,其特征在于,通过归一化处理获取所述径向基函数中心:式中,xnormalize为归一化后的数据,xcollect为采集到的数据,xmax与xmin分别为采集到的数据中的最大值与最小值;
该采集到的数据为:在控制输入范围内随机给定策略,通过仿真采集得到所述车辆队列模型的输入数据和输出数据。
9.根据权利要求8所述的一种基于强化学习算法的横纵耦合车辆编队预测控制方法,其特征在于,交替收敛获取最优控制策略时:初始化所述actor策略函数神经网络权重θ与所述critic价值函数神经网络权重ω;
所述actor策略函数神经网络根据目标跟随车辆当前的状态s获得动作a,并将动作a作用于目标跟随车辆得到新的状态s′和即时奖励r;
所述actor策略函数神经网络根据新的状态s′获得新的动作a′;
所述critic价值函数神经网络对动作a和a′进行评估打分得到q(s,a)与q(s′,a′),然后根据贝尔曼方程计算得到所述critic价值函数神经网络的预测值q(s,a)与期望值yt之间的误差TDerror:TDerror=yt‑q(s,a),yt=r+γq(s′,a′);
*
采用梯度下降法最小化迭代更新所述权重θ和所述权重ω,获得最优控制策略Ui ,且L(θ)=q(s,a),
10.根据权利要求9所述的一种基于强化学习算法的横纵耦合车辆编队预测控制方法,*其特征在于:在预测时域内,通过所述局部预测控制器将最优控制策略Ui 作用于目标跟随车辆。