1.一种基于强化学习的自动驾驶车辆转向与悬架协同控制方法,其特征在于,包括如下步骤:
1)建立车辆转向系统与悬架系统的动力学模型,通过控制转向角与悬架作用力获取横向与垂向的车辆运动状态;
2)构建车辆转向系统与悬架系统的控制动作与奖励函数,形成车辆转向与悬架协同控制的强化学习探索策略;
3)利用深度神经网络构建转向系统和悬架系统的智能体;
4)结合动力学模型与奖励函数模块构建强化学习环境,通过转向系统和悬架系统的智能体的强化学习方法实现转向系统和悬架系统的协同控制;
在所述步骤1)中,结合两自由度转向系统中的侧倾与横摆运动状态,构建转向系统动力学模型为:;
;
;
;
其中,m与ms分别为车辆总质量与车辆簧载质量;h为车辆质心到侧倾中心的距离;φr为道路倾角;g为重力加速度;lf与lr分别为质心至前、后轴的距离;Iz为横摆转动惯量;r为横摆角速度;为横摆角加速度;vx与vy分别为纵向与侧向速度;为侧向加速度;为侧倾加速度;Fyf与Fyr分别为前轴、后轴轮胎的侧向力;k为道路曲率;eψ为航向偏差;与分别为侧向偏差与航向偏差的变化率;
将前后悬架系统作用力相加集中于一个等效侧倾轴,构建悬架系统动力学模型为:;
;
;
;
;
其中,zs为车身位移;为车身加速度;ay为横向加速度;Ix为侧倾转动惯量;φ为车辆侧倾角;zs1与zs2分别为左侧与右侧车身位移;zw1与zw2分别为左、右车轮位移;与分别为左、右车轮加速度;ks1与ks2分别为左、右悬架刚度系数;mw1与mw2分别为左、右侧的非簧载质量;zr1与zr2分别为左、右侧的路面激励位移;kt1与kt2分别为左、右轮胎刚度系数;Fs1与Fs2分别为左、右悬架作动力;Tw为车轮轮距;
所述步骤2)中,在强化学习的转向控制探索过程中施加前馈转向,通过前后轮侧偏转向运动关系,得到车辆的前馈转向角与前后轮胎侧偏角的关系为:;
其中,为前馈转向角;L为车辆前轴至后轴的距离;与分别为前、后轮的前馈轮胎侧偏角,前馈轮胎力表示为:;
其中,与分别为前、后轮的前馈轮胎力;
所需的转向探索指令由前馈和学习反馈控制之和计算得出,转向系统的控制动作表示为:;
其中,ap为转向系统的控制动作;πp为强化学习的探索策略;Np为强化学习的随机探索噪声;
目标函数Rm设为:
;
其中,为转向角的控制增量;ke、kψ、kδ、k∆δ分别为侧向偏差、航向偏差、转向角控制量及控制增量的惩罚系数;
转向角控制量及控制增量的约束设置为:
;
其中,Rp1与Rp2分别为控制转向角及其增量的约束;kδ′与分别为控制转向角及其增量约束的惩罚系数;δfmax与分别为控制转向角及其增量的最大限制值;
同时在主动约束函数中考虑车辆运动状态的包络性能,对超出车辆横摆与侧向运动约束的动作行为进行惩罚设置,其约束为:;
其中,Rp3与Rp4分别为车辆横摆与侧向运动的约束;kβ与kr分别为侧偏角与横摆角速度约束的惩罚系数;αs为饱和轮胎侧偏角;b1与b2为横摆角速度的约束边界;
综合上述目标函数与约束函数,得到车辆转向系统的奖励函数Rp为:。
2.根据权利要求1所述的一种基于强化学习的自动驾驶车辆转向与悬架协同控制方法,其特征在于,所述步骤2)中,采用响应快速的PID控制策略补偿悬架探索过程中的不确定性,利用两个PID控制器分别对悬架系统的垂向与侧倾运动进行控制,相应的PID控制设计为:;
;
其中,fz(t)与fφ(t)分别为t时刻下的垂向与侧倾运动的控制力;ez(t)与eφ(t)分别为t时刻下的垂向与侧倾运动的误差输入;Kzp、Kzi与Kzd为垂向运动的PID控制系数;Kφp、Kφi与Kφd为侧倾运动的PID控制系数;
将悬架系统的垂向与侧倾运动控制力分配给左右悬架的可控作动器,解耦分配的控制力关系表示为:;
其中,fd1(t)与fd2(t)分别为t时刻下的左、右悬架作动力;
计算获得左右悬架的补偿作动力为:
;
所需的悬架系统探索指令由悬架补偿作动力和学习反馈控制力之和计算得出,悬架系统的控制动作表示为:;
其中,as1与as2分别为左、右悬架的控制动作;πs1与πs2分别为左、右悬架的探索策略;Ns1与Ns2分别为左、右悬架的随机探索噪声;
根据被动悬架系统的动态响应过程将奖励过程中的各项指标进行归一化,得到目标奖励函数Rn为:;
其中,ka、kφ、k1、k2、kf1、kf2分别为车速加速度、侧倾加速度、左右悬架动行程及悬架作动力的惩罚系数;分别为车速加速度、侧倾加速度、左右悬架动行程及悬架作动力的归一化项;
对悬架动行程的约束拓展至左右悬架,均须小于允许的最大限位行程,即悬架动行程的约束需要满足:;
其中,Rs1与Rs2分别为左、右悬架动行程的约束;kd1与kd2分别为左、右悬架动行程约束的惩罚系数;分别为左、右悬架动行程的最大限制值;
左右悬架的控制量约束设置为:
;
其中,Fs1max与Fs2max分别为左、右悬架控制量的最大限制值;
最终,得到车辆悬架系统的奖励函数Rs为:
。
3.根据权利要求1所述的一种基于强化学习的自动驾驶车辆转向与悬架协同控制方法,其特征在于,所述步骤3)中,利用深度确定性策略梯度算法构建转向系统和悬架系统的智能体,该智能体包括行为网络和评价网络;转向系统的行为网络由一个状态输入层、三个隐藏层和一个控制输出层组成,其中,控制输出层为转向系统的探索策略;转向系统的评价网络包括状态输入层、控制输入层、三个隐藏层和一个输出层;三个隐藏层依次串联,控制输入层与第二隐藏层连接传输;悬架系统的行为网络包括一个状态输入层、三个隐藏层和一个控制输出层,其中,控制输出层为左右悬架的探索策略,控制输出层通过激活函数将悬架作动力缩放在[-1, 1]范围内;悬架系统的评价网络则包括状态输入层、控制输入层、三个隐藏层和一个输出层;三个隐藏层依次串联,控制输入层与第二隐藏层相连;在学习过程中设置当车辆跟踪误差超过1m时,智能体训练进程被终止。
4.根据权利要求3所述的一种基于强化学习的自动驾驶车辆转向与悬架协同控制方法,其特征在于,转向系统的行为网络的状态输入层状态为6维,包括侧向速度、横摆角速度、侧向偏差、航向偏差、道路曲率与上一时刻的控制动作,转向系统的行为网络的各隐藏层由100个神经元组成。
5.根据权利要求4所述的一种基于强化学习的自动驾驶车辆转向与悬架协同控制方法,其特征在于,转向系统的评价网络的状态输入层从转向系统的行为网络中获取智能体6维状态,转向系统的评价网络的控制输入层为1维的控制动作,转向系统的评价网络的各隐藏层由100个神经元组成,转向系统的评价网络的输出层为评价转向系统路径跟踪控制行为的1维动作值函数。
6.根据权利要求3所述的一种基于强化学习的自动驾驶车辆转向与悬架协同控制方法,其特征在于,悬架系统的行为网络的状态输入层为6维,包括车身位移、车辆侧倾角、左右悬架动行程与上一时刻的左右悬架控制动作,悬架系统的行为网络的每个隐藏层设置100个神经元;悬架系统的评价网络的状态输入层与悬架系统的行为网络一致,控制输入层为2维的左右悬架控制动作;悬架系统的评价网络的各隐藏层由100个神经元组成,悬架系统的评价网络的输出层为评价悬架系统行为的动作值函数。
7.根据权利要求1所述的一种基于强化学习的自动驾驶车辆转向与悬架协同控制方法,其特征在于,所述步骤4)中,通过车辆转向系统与悬架系统动力学模型、跟踪误差模型、道路模型和转向、悬架系统奖励模块共同组成强化学习的环境;在自动驾驶车辆的路径跟踪控制过程中,通过输出被控车辆转向、悬架系统的控制动作分别控制车辆在路径跟踪过程中的横向与垂向运动过程;转向系统和悬架系统的智能体分别观测强化学习环境的转向系统与悬架系统运动状态;根据智能体中的策略分别执行转向系统的控制动作与悬架系统的控制动作,在做出控制决策后,自动驾驶车辆的运动状态发生改变,该运动状态进入到下一运动状态;同时,转向系统的奖励函数模块通过横向运动状态sp(vy, r, ey, eψ, κ)计算执行转向控制动作策略后获得的奖励值,悬架系统的奖励函数模块通过垂向运动状态ss(zsφ zs1-zw1 zs2-zw2)计算执行悬架控制动作策略后获得的奖励值,智能体结合反馈的奖励值优劣进一步更新施加的策略;按上述步骤不断循环,直到智能体得到足够多的累计奖励实现转向系统和悬架系统的协同控制。
8.根据权利要求7所述的一种基于强化学习的自动驾驶车辆转向与悬架协同控制方法,其特征在于,转向系统与悬架系统运动状态包括转向系统的侧向速度、横摆角速度、侧向偏差、航向偏差、道路曲率以及悬架系统的车身位移、车辆侧倾角、悬架动行程。