1.一种基于Q学习的车辆变道超车路径规划方法,通过建立车辆-道路系统模型实现对车辆驾驶状态的描述,考虑车辆行驶状态、行驶安全以及能否完成目标的因素,设计Q学习算法的奖励惩罚函数,引导车辆能在保证安全的条件下尽快完成超车的驾驶目标,其特征在于,具体步骤如下:步骤一、建立车辆-道路系统模型
(1)建立地面坐标系,原点O为主车初始时刻质心o所处的位置,X轴方向为初始时刻主车的正前方向,X轴沿逆时针方向旋转90度的方向为Y轴正方向;
(2)对道路标线进行描述,本方法中涉及到了变道超车的情况,所以定义了两条车道,宽为W,单位:m;车道边界线分别为f1(x)、f2(x)和f3(x),车道中心线(3)主车运动学建模
本方法的场景是车辆在平坦的道路上行驶,故将车辆运动视为平面运动,根据车辆的运动特性建立车辆运动学模型,并将车辆视为一个刚性体,考虑车辆系统的几何关系,可以得到表征车辆运动学特性的数学模型:式中,xo是主车质心o的纵向位置坐标,单位:m;yo是主车质心o的侧向位置坐标,单位:m;vo是主车质心o的速度,单位:m/s;ao是主车质心o的加速度,单位:m/s2; 是主车车头方向与X轴方向的夹角,单位:rad;ro是主车的横摆角速度,单位:rad/s;
以Ts做为采样时间,采用欧拉映射法,得到离散化的主车运动学模型:(4)周围车辆运动学建模
为了保证主车能在道路上安全行驶,需要对周围环境车辆进行动态行为预测,建立周围环境车辆的运动学模型;利用车载摄像头、GPS系统和车载雷达得到周围环境车辆的坐标位置和速度信息;
设环境为单向行驶的双车道,周围有两台环境车辆;一台环境车辆为前车f,前车在初始时刻与主车行驶在同一个车道,前车在初始时刻的纵向位置在主车的前方并且与主车有一定的距离;另一台环境车辆为旁车n,旁车在初始时刻行驶在主车左侧的车道,旁车在初始时刻的纵向位置在主车的前方、前车的后方,并且旁车与前车之间的距离可以允许主车进行变道超车动作;假设两台环境车辆匀速行驶,并且只进行车道保持操作,因此两台环境车辆没有侧向和横摆运动,只有纵向运动,两台环境车辆运动方程可表示为:式中,t是所有车辆从初始状态到当前状态所经历的时间,单位:s;vf是前车质心的速度,单位:m/s;vn是旁车质心的速度,单位:m/s; 是前车质心的初始纵向坐标,单位:m;
是旁车质心的初始纵向坐标,单位:m;xf(t)是经过时间t后前车质心的纵向坐标,单位:m;xn(t)是经过时间t后旁车质心的纵向坐标,单位:m;
步骤二、确定主车与周围环境车辆的安全距离
当主车前方有低速障碍车辆行驶,且主车的速度大于前车f的速度,主车与前车f有碰撞的危险,此时最小安全距离可表示为:当主车超车完成后,后方存在障碍车辆旁车n,若旁车n的速度大于主车的速度,主车与旁车n有碰撞危险,此时最小安全距离可表示为:步骤三、基于强化Q学习的超车行为路径规划
(1)状态和动作的定义
主车的状态要反映出主车的位置、行驶状态和与周围环境之间的关系,本方法中,选取Lr是主车相对于旁车n的纵向位置,单位:m;Lf是主车相对于前车f的纵向位置,单位:m;yo是主车的侧向位置坐标,单位:m; 是主车的航向角,单位:rad;vo是主车的行驶速度,单位:m/s;
车辆行驶在道路上一般有几种动作选择,在纵向操作上可以加速、减速和匀速,在横向操作上可以直行,左转和右转;本方法为简化对动作的定义,假设在转向情况下不进行加减速操作,只进行车速保持,故在本方法中主车行驶时的动作共有5种:a1为加速直行、a2为减速直行、a3为匀速直行、a4为匀速左转、a5为匀速右转;
(2)奖励惩罚函数设计
综合考虑主车的行驶状态、行驶安全以及能否完成目标的因素,设计了Q学习算法的奖励惩罚函数:
1)车道保持回报函数ry
根据车辆驾驶的一般性操作经验,设计了车道保持回报函数,其表达式如下:该函数是基于超车动作之前和完成超车动作之后来设计的,其目的在于使主车在不进行超车动作时,能够保持在车道中心线行驶,避免出现不必要的转向操作,其中λy,ky是调节因子,λy∈(0,5),ky∈(1,2),可以调节出现转向操作时回报函数的大小;
2)车辆航向奖励函数
当主车决定进行超车动作时,主车不再进行巡航操作,那么主车的航向角一定会发生改变,为了使主车能够顺利的换道超车,根据主车的航向角进行奖励设计,其表达式如下:其中 是调节因子, 该奖励函数设计的目的是为了使主
车在转向过程中更符合实际情况,越靠近两车道中间的边界线,主车的航向角越大,越靠近道路中心线,主车的航向角越小,直至回正,保持沿车道中心线行驶;
3)车距奖励函数rd
当主车进行超车动作时,与前车f和旁车n的距离就显得尤为重要,根据距离设计的车距奖励函数为:rd=-λd|dr-df|,Lr>0&Lf<0&yo≠L2 (9)其中,λd为调节因子,λd∈(0,5), dr是主车到旁车n的直线距离,df是主车到前车f的直线距离,该奖励函数的目的在于让主车在转弯的过程中与前后车的距离尽量保持相等,也就是从靠近两车最中间的位置进行换道操作,这样可以提高主车在行驶过程中的安全性;
4)速度、加速度回报函数rva
主车在行驶的过程中,速度和加速度也是重要的评价因素,根据速度和加速度设计的奖励函数为:rva=λvvo+λaao (10)
其中λv,λa是调节因数,λv∈(0,1),λa∈(0,1),该奖励函数表明主车在保证安全的情况下以更大的速度行驶会得到更多的奖励;
5)目标完成函数rf
当主车完成超车动作时,表示主车已经完成了既定目标,此时应给予较大的奖励,是训练过程向着目标完成的方向发展,使学习尽快收敛,寻找最优策略,其表达式为:rf=100,Lf∈5&yo=L2 (11)
6)碰撞惩罚函数rc
车辆行驶过程中最重要的就是安全性,所以保持主车与其他周围车辆之间有一定的安全距离是必要的,基于此,设计了碰撞惩罚函数,使主车在驾驶过程中避免选择可能引起碰撞的动作,其表达式为:rc=-100,(|Lf|<min Lf&yo=L1)||(|Lr|<min Lr&yo=L2) (12)步骤四、主车超车路径的生成
当主车的状态、动作和奖励惩罚函数确定了之后,在matlab仿真软件中进行Q学习训练,初始化主车在初始时刻的状态 以主车状态s、主车动作a作为两个维度,建立Q表,Q表中的每一个元素Q(s(k),a(k))作为在当前状态s(k)下选择动作a(k)的Q值;;
主车在时刻k时,主车的状态 从a1~a5当中
选择一个作为当前时刻选择的动作a(k),选择的原则是:在当前状态下,如果存在之前训练中没有被选择的动作,则从这些没有被选择的动作中随机选取一个动作;如果在当前状态下的所有动作都选择过了,则选择在当前状态下,使Q值能取得最大值的动作,选择动作过后,根据状态迭代公式:计算下一时刻的状态
再根据奖励惩罚函数计算reward(s(k),a(k)),然后根据Q表更新公式:Q(s(k),a(k))=Q(s(k),a(k))+α(reward(s(k),a(k))+γmaxQ(s(k+1),a(k+1))-Q(s(k),a(k))) (14)对Q表进行更新,当Q表数据连续500次的变化均小于0.01,说明Q表已经收敛,停止训练;此时最优策略已经生成,主车在每一个状态下,都选择使Q值能取得最大值的动作;动作确定了,主车的下一个时刻的状态也就确定了,根据主车的运动学模型,可以得到主车在每一个时刻的坐标和速度,主车的路径随即生成。