欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 201810047026X
申请人: 浙江师范大学
专利类型:发明专利
专利状态:已下证
专利领域: 信号装置
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于强化学习的城市道路交叉口生态驾驶行为优化方法,其特征在于,包括以下步骤:

1)利用元胞自动机模型建立仿真平台:

将装有路-车通信装置的交叉口作为强化学习的仿真平台的仿真环境,该交叉口设有信号灯,所述信号灯的一个信号周期的时长表示为Tcycle,在一个信号周期Tcycle中绿灯的时长表示为Tgreen,车辆沿车道行驶并可与所述路-车通信装置进行通信而得到所述信号灯的红灯及绿灯的信息,以交叉口为界限,将所述车道的上游分割成Lup个元胞,将所述车道的下游分割成Ldown个元胞,交叉口处的元胞个数为L交叉口,在t时刻,所述车辆的位置表示为xt,所述车辆的速度表示为vt,所述车辆的加速度表示为at,所述车辆的动作表示为At,其中,vt的取值为0,1,2,…,vmax,vmax为大于1的整数,At∈ψ,ψ为[-1,0,1],当At的取值为-1,表示车辆减速;当At的取值为0,表示车辆匀速;

当At的取值为1,表示车辆加速,

所述车辆与所述交叉口的停车线之间的距离用λt表示,λt满足以下关系式λt=Lup-xt,所述车辆在t时刻相对于所述信号灯下一次变为绿灯时所需的等待时间用 表示,此时,在t时刻,所述车辆的状态表示为在t+1时刻,所述车辆的状态表示为 从t时刻至t+1时刻,所述车辆的

状态由 更新为 其中, 中,vt+1表示在t+1时

刻车辆的车速,vt+1的取值为:当xt≤Lup,且 则vt+1=min(v′t,λt);否则,vt+1=min(v′t,L-xt),其中,L表示车道的整个长度,L=Lup+Ldown+L交叉口,v′t表示所述车辆在t时刻的临时速度,v′t=min(max(vt+A′t,0),vmax),A′t表示所述车辆的期望动作,A′t∈[-1,0,1],当A′t的取值为-1,表示从t时刻至t+1时刻所述车辆会减速;当A′t的取值为0,表示从t时刻至t+1时刻所述车辆会匀速;当A′t的取值为1,表示从t时刻至t+1时刻所述车辆会加速,表示所述车辆在t+1时刻相对于信号灯变为绿灯时的等待时间,当 则当 则

xt+1表示所述车辆在t+1时刻的位置,当xt+vt≤Lup,则xt+1=xt+vt;当xt+vt>Lup,则xt+1=Lup+1,

2)强化学习:

将所述车辆置于所述仿真平台的Lup个元胞中的起始元胞上而作为所述车辆的起始点,此时,在起始时刻,车辆的速度为v0,所述信号灯下一次变为绿灯时所述车辆所需的等待时间用 表示,所述车辆的位置为x0,所述车辆的起始状态表示为 其中,x0=1,v0的取值为0,1,2,…,vmax,将所述交叉口的停车线作为终点,所述车辆按照步骤1)中从t时刻至t+1时刻,所述车辆的状态由 更新为 的方法而进行迭代更新直至到达所述终点,并将所述车辆从起始点至终点的路线进行记录,而实现一次训练学习,并进行多次训练学习,从而实现强化学习,在此一次训练学习的过程中,所述车辆在 更新为 时,对

车辆在t时刻的动作At进行即时奖励R(St,At),其中所述即时奖励R(St,At)与所述车辆的尾气排放量及车辆的速度有关,将从起始时刻至t时刻所述车辆的即时奖励R(St,At)进行累积,所累积的奖励用Qt(St,At)表示,其中,Qt(St,At)满足以下式(1),其中,α表示学习率,γ表示折扣率,α,γ∈[0,1],

3)所述车辆经过步骤2)的强化学习后,得到Q矩阵,该Q矩阵表示为(Lup+1)×Tcycle,所述Q矩阵的行代表车辆在t时刻的位置xt,列代表车辆在t时刻相对于所述信号灯下一次变为绿灯时所需的等待时间 所述Q矩阵的每个元素为3×(vmax+1)的子矩阵,子矩阵的行代表车辆在t时刻的动作At,At∈ψ,列代表车辆在t时刻的速度vt,vt的取值为0,1,2,…,vmax,

4)利用步骤3)所得到的Q矩阵对车辆的驾驶行为进行优化,以实现生态驾驶。

2.如权利要求1所述的基于强化学习的城市道路交叉口生态驾驶行为优化方法,其特征在于,步骤2)中所述即时奖励R(St,At)的计算式如下:当车辆的动作At与经过所述交叉口的动作直接相连,则所述即时奖励R(St,At)满足以下式(2):当车辆的动作At与经过所述交叉口的动作不直接相连,则所述即时奖励R(St,At)满足以下式(3):其中,m尾气表示车辆的尾气排放量,R3>R2>R1≥R4>0,m1>m2>m3。

3.如权利要求1所述的基于强化学习的城市道路交叉口生态驾驶行为优化方法,其特征在于,步骤4)中所述车辆利用步骤3)所得到的Q矩阵对车辆的驾驶行为进行优化具体为:所述车辆在t+1时刻的动作At+1根据如下式(4)进行优化,