欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2024116558350
申请人: 长安大学
专利类型:发明专利
专利状态:已下证
专利领域: 一般车辆
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于隐式时间刻度强化学习的自动驾驶车辆决策方法,其特征在于,包括:S1,建立基于隐式时间刻度的决策模型;

S2,基于S1建立的决策模型,使用强化学习的方法进行车辆决策,并对强化学习的探索效率进行改进;

S3,探索阶段结束之后,为提升所设计模型在移动时的安全性,设计基于规则和学习的移动方法和智能环境车辆模型建立仿真环境对决策的有效性和延续性进行验证;

所述S1中,基于隐式时间刻度信息构建状态价值表,建立车辆的决策模型;具体包括:S1.1,构建决策模型:将连续的高速公路离散化成等长的离散单元,每个离散单元宽度与车道宽度相等,每个离散单元代表一个状态S,对于每个状态S下,存在四个动作如下式所示:上式中,i=1、2、3或4,上下移动单元对应换道行为,向右移动一个单元或两个单元对应以不同的车速前进;

S1.2,导入隐式时间刻度:基于上述决策模型,将时间刻度信息以隐式的方法导入其状态价值表,该状态价值表记录了车辆在每个状态里四个动作的对应价值,隐式时间刻度的赋予通过对环境车辆进行移动完成;

所述S2中,使用基于预设策略的探索方法、基于反向传播的值表更新方法和基于动量法的局部最优点突破对强化学习的探索效率进行改进,并对强化学习探索策略进行设计;

所述S3包括:

S3.1,当探索阶段结束之后,自动驾驶车辆按照决策模型所探寻的最优可行路径前进,设计以下规则以提升移动的安全性:规则一是利用规则进行动作重新选择;规则二是当该状态下任何动作都会导致碰撞或错过目标点的结果时,ABS机制会触发,使车辆停在当前状态,ABS触发对应决策的失败;如下式所示:规则2:

其中,values(Sn-1,ai)为状态Sn-1下的动作ai的价值;set2表示违背安全性的状态合集;

S3.2,采用概率对应智能环境车辆不同驾驶风格,并依据不同的驾驶风格构建不同的行为准则:智能环境车辆根据不同驾驶风格拥有不同的纵向习惯跟车距离如下式所示:当实际跟车距离不位于习惯跟车距离区间时,车辆进行相应的制动与加速以满足安全性与通行高效性的需要,如下式所示:其中,df表示习惯跟车距离,P为驾驶风格,round为取整函数,dr为实际跟车距离,dm为移动距离,移动单元数3,4,5依次对应车速;

S3.3,对智能环境车辆的横向换道行为进行设计,分为两种,一种是基于通行效率的超车换道行为,另一种是驾驶目标指引的目标换道行为;将换道行为的产生分为换道意图的产生与换道条件的允许,并设立对应阈值与条件,当超车换道意图超出换道意图阈值,并且换道条件满足时,换道行为才会产生。

2.如权利要求1所述的基于隐式时间刻度强化学习的自动驾驶车辆决策方法,其特征在于,所述基于预设策略的探索方法包括:为在强化学习的探索效率和探索效果之间取得平衡,设计相应的探索动作选择策略,在前100次探索中,使用随机移动策略,尽可能探索环境,在100次之后使用贪心策略进行动作选择,如下式所示:其中,a(S)表示状态S下的动作选择;Q(S,:)表示在状态S下各个动作的价值表;n表示探索步次;

对于随机移动阶段,为增强大地图远端的探索次数,使用下式所示的预设探索策略,调整不同动作之间的概率实现伪定向探索:p(S,ai)表示在状态S下,选择动作ai的概率,i=1、2、3或4。

3.如权利要求1所述的基于隐式时间刻度强化学习的自动驾驶车辆决策方法,其特征在于,所述基于反向传播的值表更新方法包括:在探索阶段自动驾驶车辆代理抵达终点时,对经过路径进行反向价值传播,在多次反向传播后,总能处在抵达目标点的路径中的状态与对应动作会高于其它状态,从而更好寻找最优可行路径;

反向传播更新方法如下式所示:

其中,Q(s,a)n-t为抵达目标点前t时刻的状态与动作价值,Reward为目标点的奖励值。

4.如权利要求1所述的基于隐式时间刻度强化学习的自动驾驶车辆决策方法,其特征在于,所述基于动量法的局部最优点突破包括:对于所设计的决策模型,根据车辆的移动特点,设计基于车速保持的动量法,如下式所示:Sn=Sn-2

a(Sn)=a(Sn-2)

a(Sn-1)=a(Sn-2)

其中,a(Sn-1)为处于状态Sn-1的最大价值动作选择,Sn-1为上一时刻的状态;该式用于判断决策是否陷入局部最优点,即经两次探索移动后是否会回到原状态,当陷入局部最优点后,会基于车速方向进行突破。

5.如权利要求2所述的基于隐式时间刻度强化学习的自动驾驶车辆决策方法,其特征在于,所述对强化学习探索策略进行设计包括:设计基于规则和学习融合的探索方法,采用规则与学习融合的探索机制,设定当车辆代理探索到高负值奖励时,会将该动作的选择概率调整为0,并在原状态下进行二次探索,对于探索式强化学习,如下式所示:其中,为在Sn下经过动作ai移动后的状态,set1为高负值奖励的状态合集。

6.如权利要求1所述的基于隐式时间刻度强化学习的自动驾驶车辆决策方法,其特征在于,所述超车换道意图的设立基于MOBIL原则与实际交通规则,超车意图根据相邻车道与当前车道的车况的差值建立的非线性函数生成;相邻车道与当前车道的车况情况用当前跟车距离与换道后跟车距离的差值表示,如下式所示:xd=(drf/drf-dr)>0

其中,xd为车况差距变量,drf为换道至右车道后的跟车距离,drf也能换为dlf用于计算向左超车换道的意图,dlf为换道至左车道后的跟车距离,Itenc为超车换道意图;

由驾驶目标引起的换道意图表示为:车辆越接近目标点,换道意图则越强烈;该换道意图的设置,在高速公路汇入或驶出时,使环境车辆行为更符合真实车辆,如下式所示:xm=mbji-i

其中,xm为驾驶目标终点距环境车辆当前位置的距离,mbji为位于j车道i单元的环境车辆的驾驶目标,Itenm为驾驶目标意图。

7.如权利要求1所述的基于隐式时间刻度强化学习的自动驾驶车辆决策方法,其特征在于,总的换道意图TI定义为两种换道意图的和,当总的换道意图大于阈值时,车辆才会进行换道,换道意图的设立确保了智能环境车辆不会反复换道而危害交通,同时又表达了不同驾驶风格车辆的差异性;总的换道意图如下式:Iten=Itenc+Itenm

其中,Iten为总的换道意图,IY为驾驶风格决定的换道意图阈值;

当换道意图大于换道阈值时,智能环境车辆换道还必须满足如下式所示的换道条件:其中,drr,drf分别代表换道至右侧车道的前后车距,当TI与TC均等于1时,换道行为才会产生。