1.一种基于多级安全规约策略优化的高速公路驾驶决策方法,其特征在于,所述方法包括:构建智能体与环境的交互平台;
根据自动驾驶决策问题建立马尔可夫决策过程模型,并根据自动驾驶车辆周围一定区域内的场景信息确定约束马尔可夫决策过程的状态空间,根据自动驾驶控制指令确定约束马尔可夫决策过程的动作空间,根据高速公路场景下车辆所能遇到的安全问题确定约束马尔可夫决策过程的开销函数,根据自动驾驶车辆的舒适、效率与安全性能确定约束马尔可夫决策过程的奖励函数;
根据深度强化学习算法搭建神经网络,所述神经网络包括策略神经网络、基于奖励函数的神经网络和基于开销函数的神经网络;
对神经网络进行安全态势等级评估与优化;
对神经网络进行多次迭代训练,得到训练后的神经网络模型;
根据训练后的神经网络模型,生成高速公路自动驾驶实时决策;
所述对神经网络进行安全态势等级评估与优化的步骤包括:计算基于奖励函数的神经网络梯度和基于开销价值函数的神经网络梯度;
根据开销价值函数梯度计算得到当前策略的安全等级判断因子;
将得到的安全等级判断因子与预设的安全等级态势分级标准比较,并确定对应的安全等级态势,所述安全等级态势分级包括低风险安全态势、中等风险安全态势、高风险安全态势;
根据不同安全等级态势选择对应的策略更新方式;
所述根据不同安全等级态势选择对应的策略更新方式的步骤包括:当安全等级判断因子在预设的低风险安全态势标准范围内时,判定为低风险安全态势,利用信任域方法来进行策略更新;
当安全等级判断因子在预设的中等风险安全态势标准范围内时,判定为中等风险安全态势,通过解决对偶问题来确定既不违反安全约束又使奖励函数期望最大化的策略;
当安全等级判断因子在预设的高风险安全态势标准范围内时,判定为高风险安全态势,通过自然梯度方法确定解决方案;
三个损失函数为cost
开销函数设计如下:
R
2.根据权利要求1所述的一种基于多级安全规约策略优化的高速公路驾驶决策方法,其特征在于,所述状态空间包括自动驾驶车辆的位置x自动驾驶车辆局部观测空间S
S
其他车辆局部观测空间S
S
定义全局状态空间s为:S=[S
3.根据权利要求2所述的一种基于多级安全规约策略优化的高速公路驾驶决策方法,其特征在于,所述动作空间包括自动驾驶车辆的行驶加速度a与方向盘转角δ
4.根据权利要求1所述的一种基于多级安全规约策略优化的高速公路驾驶决策方法,其特征在于,奖励函数包含效率奖励子项reward奖励函数设计如下:
R
其中,v