欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2024112823412
申请人: 吉林大学
专利类型:发明专利
专利状态:已下证
专利领域: 信号装置
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种交叉口进口道混行车队协同引导控制方法,其特征在于,所述的交叉口进口道混行车队协同引导控制方法包括步骤如下:

1)获取道路信息:

所述的获取道路信息是指确定交叉口多条进口道为控制场景,定义控制范围、控制对象以及控制目标;

2)划分智能体:

所述的划分智能体是根据道路交通信息,由车辆之间的跟驰行为划分不同的智能体;

3)建立交叉口进口道混行车队多智能体生态协同控制模型:

所述的生态协同控制模型包含单智能体速度轨迹规划与多智能体协同控制两部分;其中,单智能体速度轨迹规划是以智能体内部所有车辆的运行能耗最小为目标,考虑前车驾驶行为的不确定性与换道概率,生成自身最优的速度轨迹,该速度轨迹为后续多智能体协同控制的初始状态输入;多智能体协同控制以安全奖励、生态奖励与效率奖励综合最优为目的,协同调整控制范围内多个智能体速度轨迹,通过改进的双时滞深确定性策略梯度对多智能体协同控制模型进行训练;

4)可控智能体执行优化后的轨迹:

将建立并训练完成的模型下发至各个可控智能体,采用滚动时域更新策略,利用道路交通信息计算每个智能体通过交叉口的速度轨迹,输入至CAV控制器执行。

2.按照权利要求1所述的交叉口进口道混行车队协同引导控制方法,其特征在于,所述的获取道路信息包括步骤如下:

1)控制场景为城市道路常规十字交叉口的单个三车道进口道,车道属性包括左转、直行与右转,车道信息参数化表示为:Lint={l1,l2,l3}

式中:l1、l2和l3为车道属性,取值不同表示不同的车道属性,-1代表左转车道,0代表直行车道,1代表右转车道;

2)在控制场景中,交叉口信号控制类型为固定四相位信号配时,信号配时方案表示如下:式中:sigint表示交叉口信号配时方案信息集合,表示相位k的配时信息集合,k取值为1、2、3、4,具体表示如下:式中:的值代表k相位的相位类型,其中取值1代表南北直行相位,-1代表东西直行相位,2代表南北左转相位,-2代表东西左转相位;在交叉口信号控制中,右转车流不受信号配时方案约束,表示相位k的红灯和绿灯时长信息,具体表示如下:式中:和分别代表信号相位k的红灯时长与绿灯时长;

3)所提出的基于多智能体强化学习的交叉口多车道进口道混行车队协同引导控制模型的控制范围为交叉口停车线到距离交叉口停车线800m处,控制对象为控制范围内的由CAV与RV组成的混行车队,各车道混行车队信息表示如下:式中:Fint表示控制范围内的车流信息集合,和表示各车道内混行车流信息集合,具体如下式:式中:Ci_type表示在车道L,L取值为1、2、3;上车辆i的车辆类型,其取值为0或1,其中0代表CAV,1代表RV,i的取值为1,2,…,I;

4)获取交叉口的控制范围内CAV的运行信息,包括车辆的速度、加速度、位置,CAV能够通过V2V和V2I通信获取周围车辆运行信息以及交叉口交通状况信息,通过利用CAV这一特性实现在上述控制场景中对混行车流的控制;各CAV位置、速度、加速度信息表示如下:式中:表示lL车道上的CAV运行信息总集合,为h=1,2,…,H的CAV的运行信息集合,为CAV当前所处位置;为CAV当前速度;为CAV当前加速度;

旨在通过优化车流中CAV的速度时空轨迹,进而调整车流整体分布与运行状态,引导不同的车流到达分布情况与交叉口的固定信号配时方案更加适配,从而以更安全、稳定、高效、节能的形式通过交叉口。

3.按照权利要求1所述的交叉口进口道混行车队协同引导控制方法,其特征在于,所述的划分智能体包括步骤如下:

1)基于获取道路信息步骤获取的信息,为体现CAV对RV的引导作用,便于后续建立模型,针对不同的车辆到达分布,根据车辆之间的跟驰行为,将车辆划分为规模不同、组成不一的车组,并进一步将其抽象为智能体;

基于不同的车组构成,将控制范围内各车道上的车队划分为如下三种智能体:由1辆CAV或者由多辆CAV构成的车组,定义为CAV智能体agentCAV;

由作为头车的CAV以及后面跟驰的几辆RV组成的车组定义为最小生态控制单元,在此基础上将该类车组抽象为智能体,定义为最小生态控制单元智能体agentECU;

不受前方车辆影响、独立运行的1辆或几辆RV构成的车组,定义为RV智能体agentRV;

其中,由于车组内存在CAV,将CAV智能体agentCAV和ECU智能体agentECU定义为可控智能体,RV智能体agentRV定义为不可控智能体;

当RV与前车之间的距离处于无差异区域内时,判断其与前车属于同一控制单元,和表示无差异区域的最大值与最小值,其计算公式如下:式中:Bound=max或min;Tbound为Bound条件下的期望时间间距;S0为停车间距;vi(t)为RV在t时刻的速度;Δvi(t)为RV在t时刻与前车的速度差;αmax为车辆的最大加速度;β为车辆的舒适减速度;

2)基于获取道路信息步骤获取的信息,预测RV可能产生的换道行为,在控制场景中,CAV通过其目标车道进入控制范围,因而在运行过程中没有换道需求,而RV作为不可控车辆,驾驶行为具有一定的不确定性,由下式计算RV的换道概率:式中:来表示RV发生换道行为的可能程度,取值越大,表明RV在当前交通状况下执行换道行为的可能性越大:Ψnece和Ψsafe分别表示根据RV的驾驶目标而得到的换道必要性,以及执行换道的安全条件;两个参数的表达式分别为:式中:pline为RV换道的纵向临界位置;pi(t)为t时刻车辆i的位置;λi为车辆i所需的换道次数;di,j(t)为t时刻车辆i和车辆j之间的距离;Di,j(t)为t时刻车辆i和车辆j之间的安全距离;ρ为安全车头时距;ai,max,brake为车辆i最大刹车减速度;ai,min,brake为车辆i最小刹车减速度;ai,brake(t)为t时刻车辆i的刹车减速度;vi,max为车辆i在路段上可行驶的最大速度。

4.按照权利要求1所述的交叉口进口道混行车队协同引导控制方法,其特征在于,所述的建立交叉口进口道混行车队多智能体生态协同控制模型包括步骤如下:

1)基于划分智能体步骤将各车道上车队所划分所得到的可控智能体,以单个智能体通过交叉口的速度轨迹累计能耗最小化为优化目标,建立了一个单智能体速度轨迹规划模型;

2)考虑到混行车流整体的通行效率,建立多智能体协同控制模型;

3)多智能体协同控制模型训练;

通过改进的双时滞深确定性策略梯度(Twin Delayed Deep Deterministic policygradient,TD3)算法对建立交叉口进口道混行车队多智能体生态协同控制模型步骤中步骤1)里建立的单智能体速度轨迹规划模型以及步骤2)里建立的多智能体协同控制模型进行训练,训练的目的在于:通过模拟车队对模型的优化结果与环境进行多次交互,从而获得基于不同环境与车辆运行信息下智能体不同决策所对应的车队整体运行效益,经过反复交互获得最优效益,并将最优效益和相对应的决策作为已知经验储存,在车队实际运行过程中,如若有与已知经验相符合的运行状况即可立即获得相对应的最优方案,从而提高优化效率。

5.按照权利要求4所述的交叉口进口道混行车队协同引导控制方法,其特征在于,所述的基于划分智能体步骤将各车道上车队所划分所得到的可控智能体,以单个智能体通过交叉口的速度轨迹累计能耗最小化为优化目标,建立了一个单智能体速度轨迹规划模型;具体步骤如下:(1)计算单个智能体的个体最优速度,考虑到单个智能体可能包含若干辆燃油车(FuelVehicle,FV)与若干辆电动车(Electric Vehicle,EV),其能量消耗类型不同因此需单独考虑;单个智能体的个体最优速度是以智能体内部所有车辆的运行能耗最小为目标,其计算公式如下:Z=minEagent

式中:μfv和μev分别为油耗和电耗的统一系数;m和n分别为智能体内FV和EV的数量;T0为起始时间;Td_i为车辆通过交叉口停车线的时间;vi(t)和ai(t)分别为车辆的速度和加速度,vi(t)的取值在最小限速vmin与最大限速vmax之间,ai(t)的取值在最小加速度amin与最大加速度amax之间;Ff_i和Fe_i分别为燃油车的瞬时油耗以及电动车的瞬时电耗;

(2)基于(1)得到的生态速度,为实现CAV对RV的平顺引导,通过三角函数计算智能体由当前速度过渡到生态速度的速度轨迹,计算公式如下:式中:vopt(t)为t时刻基于三角函数优化后车辆的速度;vaim为车辆的平均目标速度;vdis为车辆的平均目标速度与初始速度v0之差;ωtr为当车速介于当前速度vcon与平均目标车速vaim之间时的加速/减速的变化率;为车速低于平均目标车速vaim时的加速/减速的变化率;Tf为目标距离Dint与平均目标车速vaim的比值;

(3)考虑到前车驾驶行为的不确定性,通过虚拟轨迹对单智能体速度轨迹进行约束,具体步骤如下:a.若前车处于行驶状态,则采用动态虚拟轨迹进行约束,确保智能体与前车保持安全跟驰距离,动态虚拟轨迹计算公式如下式中:和为中间量;τ为驾驶员的反应时间;

b.若前车处于排队状态,待前方车辆排队消散后,智能体才能通过交叉口,采用静态虚拟轨迹sp_i(t)约束智能体;

(4)由划分智能体步骤中的步骤2)计算可控智能体内部及其周围RV的换道概率,根据所得的换道概率,分析内部RV离开智能体、周围RV进入智能体以及周围RV的插入到智能体前方的换道行为对于车队整体生态性以及交叉口的运行效益的影响,若换道行为无积极影响,则相关CAV通过压缩RV可能的换道区间来抑制RV的换道行为;反之,则相关CAV为其让出安全的换道空间,确保RV安全换道,对于换道行为使得智能体内部组成发生变化,返回建立交叉口进口道混行车队多智能体生态协同控制模型步骤中步骤1)中的步骤(1)、步骤(2)和步骤(3)重新计算并生成单智能体速度轨迹;

对于因换道行为插入到智能体前方的RV,则(3)中a所述的动态虚拟轨迹的计算公式转变为下式:式中:x和y是智能体在时间t时的纵向和横向位移;pi和qj是确定轨迹形状的系数;由于纵向和横向位移是使用基于时间的函数来表示的,因此可以通过取一阶和二阶导数来容易地获得每个时间节点处的速度vx和vy以及加速度ax和ay;

通过建立交叉口进口道混行车队多智能体生态协同控制模型步骤中的步骤1),计算得到每一个智能体自身最优的速度轨迹,该速度轨迹为后续多智能体协同控制模型的初始状态输入。

6.按照权利要求4所述的交叉口进口道混行车队协同引导控制方法,其特征在于,所述的考虑到混行车流整体的通行效率,建立多智能体协同控制模型,具体步骤如下:(1)为降低计算量,同时将单智能体速度轨迹规划模型与多智能体协同控制模型联系起来,将智能体通过交叉口的时间作为多智能体协同控制模型的动作空间:aj=Td_j

由1)中的单智能体生态速度轨迹规划模型中得到的生态速度轨迹计算各智能体通过交叉口的时间作为多智能体协同控制模型的初始动作,智能体动作更新后,通过单智能体速度轨迹规划模型中由三角函数得到的平顺性约束即可输出新动作所对应的速度轨迹;

(2)智能体的状态空间定义为智能体在当前动作下的速度与位置:

sj=(vj(t),pj(t))

式中:pj(t)为智能体在当前时刻的位置;

(3)为了确保智能体的训练结果尽可能接近最优解,对奖励函数进行了如下设计,具体步骤如下:a.首先计算单个智能体的奖励函数,考虑到智能体在运动过程中的安全性,利用最大可用减速度作为智能体运行的安全指标,安全奖励函数计算公式如下:式中:asafe为头车为避免与前车发生冲突的最大可用减速度;γsafe为惩罚项;

b.建立交叉口进口道混行车队多智能体生态协同控制模型步骤中步骤1)计算所得的是单个智能体的最佳生态速度轨迹,因此认为距离智能体初始动作越接近的动作,其所对应的速度轨迹整体能耗越小,从而得到生态奖励函数计算公式为:c.以一定的权重综合安全奖励函数和生态奖励函数,可以获得单智能体的奖励值,计算公式如下:式中:w1和w2为权重系数;

d.将一个周期内目标进口道的各车道通过交叉口停车线的车辆数作为交叉口的效率奖励函数,来反映整个进口道的通行效率,进口道效率奖励函数计算公式如下:式中:为一个信号周期内车道li通过交叉口的车辆数;

e.将控制范围内所有可控制智能体的单智能体奖励值进行加和后,以一定的权重系数将其与进口道效率奖励函数综合起来,即可得到整个车队的奖励值,计算公式为:式中:w3和w4为权重系数。

7.按照权利要求4所述的交叉口进口道混行车队协同引导控制方法,其特征在于,所述的通过改进的双时滞深确定性策略梯度(Twin Delayed Deep Deterministic policygradient,TD3)算法对建立交叉口进口道混行车队多智能体生态协同控制模型步骤中步骤1)里建立的单智能体速度轨迹规划模型以及2)里建立的多智能体协同控制模型进行训练,训练的目的在于:通过模拟车队对模型的优化结果与环境进行多次交互,从而获得基于不同环境与车辆运行信息下智能体不同决策所对应的车队整体运行效益,经过反复交互获得最优效益,并将最优效益和相对应的决策作为已知经验储存,在车队实际运行过程中,如若有与已知经验相符合的运行状况即可立即获得相对应的最优方案,从而提高优化效率;具体步骤如下:(1)首先利用DQN求解器对单智能体速度轨迹规划模型进行求解,具体步骤如下:a.初始化经验池及其容量Nsingle、动作价值函数以及目标网络

b.获取环境状态信息其中包含历史状态信息,ts的取值为0到总循环次数Msingle之间;

c.选取动作并执行,探索模式下,以εsingle的概率随机选取动作经验模式下,选取在状态下使得最大的动作,计算公式如下:d.动作与环境交互,获取奖励并判断下一状态是否触发终止条件;

e.将经验存入经验池

f.重复步骤b到e,直到经验池变满;

g.在经验池中选取小批量的经验,计算目标网络的目标函数,计算公式如下:式中:γsingle为折扣因子;

h.计算损失函数:

i.采用梯度下降法最小化步骤h的损失函数,从而更新目标网络的权重

j.每隔Tsingle各固定间隔重复步骤g到i,对目标网络参数进行更新;

k.重复上述步骤直到目标网络收敛或达到总循环次数Msingle,结束训练;完成单智能体速度轨迹规划模型的训练后,对模型进行求解,所得到的速度轨迹为单智能体自身最优的速度轨迹,计算每一个智能体基于该轨迹通过交叉口的时间,以此作为多智能体协同控制模型训练时的初始动作;

(2)采用改进的TD3算法对多智能体协同控制模型进行训练,具体步骤如下:a.初始化Actor网络μ(θμ)、Critic1网络Critic2网络目标Actor网络μ'(θμ')、目标Critic1网络目标Critic2网络及其容量Nsingle;

b.获取环境状态信息其中包含历史状态信息,ts的取值为0到总循环次数Mmulti之间;

c.选取动作并执行动作,为提高智能体在训练过程中的动作搜索效率,设计了如下策略,以单智能体速度轨迹所对应的通过时间作为搜索起点,即:若动作向左偏移获得的奖励值有上升趋势,则向左更新动作,反之则向右更新;

d.动作与环境交互,获取单智能体奖励后,计算交叉口整体奖励值并判断下一状态是否触发终止条件;

e.将经验存入经验池

f.重复建立交叉口进口道混行车队多智能体生态协同控制模型步骤中步骤(2)的步骤b到步骤e,直到经验池变满;

g.在经验池中选取小批量的经验利用目标Actor网络μ'(θμ')计算出下的动作,并基于目标策略正则化加入噪声,目的在于限制模型的复杂度,从而尽量避免过拟合的发生:h.基于双重网络思想,计算目标值:

式中:γsingle为折扣因子;

i.计算损失函数:

j.采用梯度下降法最小化步骤i的损失函数,更新Critic1网络和Critic1网络中的参数;

k.Critic1网络和Critic2网络更新dcritic后,利用目标Actor网络μ'(θμ')计算状态下的动作:l.利用Critic1网络和Critic2网络计算对的评估值:

m.采用梯度上升法最大化步骤l中的完成对Actor网络μ(θμ)的更新;

n.通过学习率κ将新旧目标网络参数做加权平均,完成对目标网络参数的更新:θμ'=κθμ+(1-κ)θμ'

o.重复上述步骤直到目标网络收敛或达到总循环次数Mmulti,结束训练;

建立交叉口进口道混行车队多智能体生态协同控制模型步骤中的步骤3)完成了所提出的多智能体协同控制模型的训练。

8.按照权利要求1所述的交叉口进口道混行车队协同引导控制方法,其特征在于,所述的可控智能体执行优化后的轨迹包括步骤如下:

1)将训练完成的多智能体协同控制模型发至交叉口控制区域内的服务器;

2)进行步骤1,获取交叉口各类信息参数,并将上传至服务器,当有车辆进入控制区域内时,获取混行车队内部车辆构成信息,并上传至车队运行信息存储器;

3)基于所得信息将控制区域内各车道上的混行车队划分为各种规模、类型不一的智能体;

4)车队运行信息存储器将当前控制区域内混行车队信息上传至交叉口服务器,进行建立交叉口进口道混行车队多智能体生态协同控制模型步骤中的步骤1),优化进入到控制区域内可控智能体通过交叉口的初始生态速度轨迹,并发到各可控智能体内的CAV的控制器执行;

5)进行建立交叉口进口道混行车队多智能体生态协同控制模型步骤中的步骤2),计算在当前速度轨迹之下各智能体通过交叉口的时间,交叉口服务器基于当前交叉口各车队的运行状况,考虑到车队运行过程中能量消耗、尾气排放水平以及交叉口的通行效率,对各可控制智能体速度轨迹进行二次优化,并将优化结果输出至各CAV控制器执行;

6)车队运行信息存储器每隔一定的时间,将所存储的信息上传至交叉口服务器的历史数据库,服务器利用更新后的信息重新进行获取道路信息步骤、划分智能体步骤和建立交叉口进口道混行车队多智能体生态协同控制模型步骤,在确保混行车队运行安全性与稳定性的同时保证交叉口进口道的通行效率。