欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2023110551635
申请人: 吉林大学
专利类型:发明专利
专利状态:已下证
专利领域: 信号装置
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于投影式约束策略优化的自动道路交叉口管理方法,其特征在于,包括以下步骤:步骤1、投影式约束策略优化:

包含六个要素:策略网络、模型、奖励函数、风险函数、价值估计网络和风险估计网络;策略网络使用LSTM神经网络,用于根据智能体的当前的状态决定智能体下一步的行为;模型用于为智能体与环境的交互提供场景;奖励函数用于引导智能体学习,使智能体达到预期目标;价值估计网络用于对智能体当前的策略做出评价以更新策略网络;风险函数用于保证智能体探索过程的安全;风险估计网络用于评估智能体当前行为的危险程度以限制策略网络的更新;

策略网络在更新时,首先会判断当前策略的安全风险,安全风险划分为三个等级:安全、相对安全以及危险;若当前策略处于安全范围,则策略更新时不考虑风险函数,策略将会朝奖励最大化的方向更新;若当前策略处于相对安全范围,此时策略网络先进行奖励最大化更新,之后将策略在风险约束集上进行投影,使策略重新回到安全范围内;若当前策略处于危险范围,则通过回溯寻找适合网络更新的参数;

步骤2、基于投影式约束策略优化的自动交叉口管理:搭建一个复杂路口场景作为模型,设计奖励函数与风险函数,奖励函数兼顾车辆的通行效率、舒适性、碰撞安全性以及横向控制稳定性,风险函数兼顾车辆的碰撞风险以及车辆间距小于安全车距的风险;

策略训练过程为:在预定时间内让车辆探索行为,策略网络通过输入车辆距离目标地点的距离以及车辆当前的速度控制环境中所有车辆的速度,车辆行驶的路线由仿真器设计,如果发生碰撞或者车辆全部通过则重置场景,搜集这段时间内策略网络的输入、策略网络的输出、得分、风险值、价值估计值以及风险估计值,用以更新策略网络、价值估计网络和风险估计网络;

所述步骤2包括以下具体步骤:

步骤2.1、状态空间与行为空间的设计:

定义状态空间为,代表进入复杂路口区域的智能驾驶汽车距离离去点的距离,代表智能驾驶汽车的行驶方向,分别表示智能驾驶汽车右转、直行与左转行为;

的计算分两种情况:车辆从直道驶入以及车辆从弯道驶入;当车辆从直道驶入时,分为右转、直行与左转三种行为,三种行为的计算公式为:(11);

当车辆从弯道驶入时,同样分为右转、直行与左转三种行为,计算公式为:(12);

代表智能驾驶汽车在当前时间步下的实时速度,每辆车经过复杂路口时只有一种行驶方向,将剩余两个行驶方向的状态空间用零向量填充;赋予策略智能驾驶汽车的转向信息,结合策略判断智能驾驶汽车当前处于复杂路口的位置,同时状态空间包括每个智能驾驶汽车当前的速度信息;

行为空间定义为,模型的联合行为空间只选择复杂路口区域全部智能驾驶汽车未来的联合期望速度;

步骤2.2、定义风险函数与奖励函数:

首先定义风险函数,智能驾驶汽车在通过复杂路口时潜在的安全风险包括碰撞与侧滑:碰撞:

(13);

其中代表发生碰撞时赋予的风险值;,代表在时间步下存在碰撞风险的智能驾驶汽车违背安全车距时赋予的风险值,代表存在碰撞风险且违背安全距离的智能驾驶汽车的对数;

侧滑:

(14);

其中,

代表智能驾驶汽车在时间步下的瞬时加速度,代表重力加速度,代表复杂路口路面的摩擦系数;则风险函数定义为:、(15);

接着定义奖励函数,安全性:智能驾驶汽车安全性的奖励分为引导性奖励与决定性奖励:(16);

其中代表引导性奖励,代表决定性奖励;

高效性:

(17);

其中为折扣因子,代表在时间步下智能驾驶汽车的车速与期望车速的差值,代表时间积累造成的奖励损失;

平顺性:

(18);

其中,代表一个时间步智能驾驶汽车的加速度;综上,奖励函数定义为:(19)。

2.根据权利要求1所述的基于投影式约束策略优化的自动道路交叉口管理方法,其特征在于,所述步骤1包括以下具体步骤:步骤1.1、算法定义:将投影式约束策略优化问题表述为CMG,一个用于运行智能体的CMG被定义为一个元组,其中表示全局状态空间,定义为,表示所有智能体的联合动作空间的集合;代表联合奖励函数,用于描述状态采取联合行动到下一个状态的即时奖励,表示风险函数的集合定义的特定环境安全约束,每个智能体都有风险函数,过渡元组映射到风险成本阈值,表示从过渡到状态的概率,表示三个神经网络参数的初始分布,表示折扣因子;

步骤1.2、构建策略神经网络:策略神经网络的输入为所有智能体在当前时刻的联合状态,输出为所有智能体下一时刻的行为;策略神经网络共包含三个Linear层和一个LSTM层,假设复杂路口场景中共个智能体,策略神经网络的输入为每个智能体在第个时间步内搜集到的信息,表示为,每一个时间步搜集到的所有智能体状态是一个的矩阵,首先通过输入一个Linear层变为的矩阵,然后通过Relu函数进行激活,接着通过LSTM层输出维度变为,将LSTM的输出结果进行值域调整,以确保LSTM网络的输出结果适用于真实场景,将适应化操作后的结果送入Linear层并且进行Relu激活操作,最后将输出结果的维度通过Linear层变化为并进行Sigmoid激活作为策略网络最终的输出结果;

步骤1.3、构建价值估计与风险估计神经网络:价值估计与风险估计神经网络通过当前收集的轨迹信息判断更新后的策略神经网络是否有更高的奖励以及更低的风险,采用全连接层神经网络模型作为价值估计与风险估计神经网络;首先网络输入的状态与策略网络模型相同,输入每辆车距离目标地点的距离与车辆当前的速度,维度为,经过三个连接层并进行Relu激活操作后得到最终输出结果,维度变化依次为。

3.根据权利要求2所述的基于投影式约束策略优化的自动道路交叉口管理方法,其特征在于,在所述步骤1.2中,将策略神经网络的更新分为三种情况:KL散度信任域在风险信任域内,KL散度信任域与风险信任域交叉,KL散度信任域与风险信任域无交集;

首先为奖励值定义价值函数,表示状态对应的期望奖励值,其中表示依赖与策略的轨迹,表示轨迹对应的折扣过的奖励值,定义行为价值函数为,表示状态与行为对应的期望奖励值,定义优势函数为,表示在状态一致的前提下,行为对应的奖励与期望奖励的差值,若为正值表明通过动作获得的整体奖励值更高,若为负值表明通过动作获得的整体奖励值低于平均奖励,定义具有神经网络参数的策略神经网络对应的期望收益为;同理,为风险定义价值函数、行为函数和优势函数分别为,相对于风险函数的折扣过的风险期望值为,则CMGs模型的可行策略集合表示为,其中表示在时刻第个智能体的风险阖值;

通过综合判断更新方式,其中表示风险函数的梯度,表示智能体在当前策略下的风险值与风险阖值的接近程度;定义,则,用于判断KL散度信任域与风险信任域是否呈交叉关系,其中表示新旧策略间KL散度的Hessian矩阵;

当时,此时朝任意方向更新策略均不会有危险;当并且时此时朝任意方向更新策略也不会有危险,将这两种情况归结为情况3,当策略处于情况3时,应用信任域策略优化算法更新策略网络参数:(1);

;

根据二阶近似的KL散度约束对处的目标函数线性化,得到以下更新:(2);

;

其中表示奖励优势函数的梯度,利用凸优化方法解方程(2)得到网络更新公式:(3);

当时,若最大化期望奖励值更新可能导致策略进入比较危险区域的情况,将此种情况归结为情况2;若策略神经网络处于情况2,则使用投影式约束策略优化更新策略网络:奖励提升步骤与投影步骤;奖励提升步骤通过信任域策略优化算法最大化奖励值,投影步骤将通过奖励提升步骤后的策略网络投影到风险信任域内;首先,在KL散度信任域内最大化优势函数:(4);

;

其次,通过最小化中间策略与风险信任域的距离将策略投影到风险信任域内:(5);

;

将二阶近似的KL散度约束对处的目标函数线性化,得到奖励提升步骤更新近似:(6);

;

用KL散度衡量与风险信任域的距离,同样应用二阶近似的KL散度对处的成本约束进行线性化:(7);

;

使用凸优化方法解方程(6)和(7):

(8);

若且时,此种情况下策略朝任意方向更新都不会处于安全状态,将该情况归结为情况1;若策略处于情况1,使用线性回溯的方法更新策略神经网络以最小化风险值:(9)。

4.根据权利要求3所述的基于投影式约束策略优化的自动道路交叉口管理方法,其特征在于,在所述步骤1.3中,价值估计与风险估计神经网络的更新原理如下:价值估计与风险估计神经网络通过预测值与真实值之间的差值进行更新,表示为:;

(10)。