1.一种基于多时间尺度的分层车辆驾驶决策方法,其特征在于,包括:步骤1.获取目标车辆行驶任务的终点区域坐标;并获取目标车辆的环境观测信息;
步骤2.构建深度分层强化学习决策模型,所述深度分层强化学习决策模型包括高层模型和低层模型,所述高层模型用于根据不同环境决策最优的驾驶行为;每种驾驶行为对应一个低层模型,所述低层模型用于对目标车辆进行姿态控制;
步骤3.采用TD3算法训练低层模型;
步骤4.采用OC算法进行高层模型和步骤3训练后的低层模型的联合训练;具体包括:步骤401.初始化高层模型的终止网络参数、Q网络参数Ω、驾驶行为、经验回放池和最大控制时长;
步骤402.将当前时刻的状态输入高层模型,所述终止网络基于状态计算每个驾驶行为的终止概率;
步骤403.基于每个驾驶行为的终止概率判断当前驾驶行为在当前时刻是否终止,若是,则进入步骤404,若否,则保持当前时刻的驾驶行为,进入步骤405;
步骤404. 所述Q网络基于状态计算每个驾驶行为的Q值,并基于贪心策略选取Q值最大的驾驶行为输出;
步骤405.基于驾驶行为加载经过步骤3训练后的低层模型,所述低层模型基于状态生成动作;
步骤406.基于动作与驾驶环境交互得到下一时刻的状态空间,并通过高层模型的奖励函数得到当前时刻奖励;得到经验数据集;并将其保存至经验回放池,且,;
步骤407.判断经验回放池中的经验数据数量是否大于预设的采样经验批量P,若是,则进入步骤408,若否,返回步骤402;
步骤408.从经验回放池中批量采集经验数据集训练高层模型;基于最小化Q值的均方误差更新Q网络;Q网络的更新公式为:;
式中,为当前时刻的选项值函数;,是当前时刻的驾驶行为在时的终止概率;表示学习率;
步骤409.采用策略梯度更新终止网络;所述终止网络的更新公式为:;
式中,表示终止网络的优势函数,表示思考成本参数;表示当前时刻的驾驶行为在状态时的终止概率;表示偏导数;表示损失函数;
步骤410. 判断是否满足训练结束条件,若是,则结束训练,若否,则返回步骤402;
步骤5.根据所述目标车辆获取的环境观测信息,通过高层模型,得到目标车辆的驾驶行为决策;
步骤6.所述目标车辆根据步骤5输出的驾驶行为决策加载相应的低层模型,并联合环境观测信息,通过所述低层模型,对目标车辆进行姿态控制。
2.根据权利要求1所述的基于多时间尺度的分层车辆驾驶决策方法,其特征在于,所述步骤1获取的目标车辆环境观测信息表示为:;
式中,分别表示当前时刻目标车辆的坐标位置,和表示当前时刻目标车辆在和两个方向上的速度分量;,表示环境车辆的状态向量,表示目标车辆周围的环境车辆的数目,表示环境车辆的坐标位置;表示所述目标车辆距离当前所在车道中线的水平距离;表示所述目标车辆与各个车道上的最近的环境车辆之间的距离。
3.根据权利要求2所述的基于多时间尺度的分层车辆驾驶决策方法,其特征在于,所述高层模型的状态空间表示为:;
所述高层模型的动作空间为当前时刻目标车辆的驾驶行为:;
式中,表示激进型驾驶行为,表示保守型驾驶行为,所述高层模型输出的驾驶行为决策为激进型驾驶行为或保守型驾驶行为;
所述高层模型的奖励函数为环境奖励函数,所述环境奖励函数包括碰撞惩罚、超出道路边界惩罚、前进距离奖励和偏离中心线惩罚奖惩,具体表示为:;
式中,碰撞惩罚表示为目标车辆与环境车辆之间的碰撞惩罚;具体表示为:;
超出道路边界惩罚表示为目标车辆与道路边界路障之间的碰撞惩罚,具体表示为:;
前进距离奖励表示为目标车辆沿道路方向上有效前进距离的奖罚,具体表示为:;
其中,表示目标车辆沿道路方向前进的时长;
偏离中心线惩罚奖惩表示目标车辆偏离道路中心线的惩罚:;
其中,为所述目标车辆所在的车道的宽度。
4.根据权利要求3所述的基于多时间尺度的分层车辆驾驶决策方法,其特征在于,所述高层模型还包括终止网络和Q网络,所述终止网络用于根据当前时刻的状态空间计算并输出目标车辆当前时刻驾驶行为的终止概率,所述Q网络用于根据当前时刻的状态空间计算并输出目标车辆每个驾驶行为的Q值;
所述低层模型包括策略网络模块和双目标评价网络模块,所述策略网络模块在双目标评价网络模块的辅助下根据状态空间生成动作,所述策略网络模块包括策略网络和目标策略网络,所述双目标评价网络模块包括第一评价网络、第一目标评价网络、第二评价网络和第二目标评价网络。
5.根据权利要求4所述的基于多时间尺度的分层车辆驾驶决策方法,其特征在于,所述低层模型的状态空间表示为:;
所述低层模型的动作空间为所述目标车辆在当前时刻的行驶速度:;
式中,和分别表示所述目标车辆在和两个方向上的决策速度分量,表示所述目标车辆在方向上的最大行驶速度,表示所述目标车辆在方向上的最大行驶速度;
所述低层模型的奖励函数包括用于反映驾驶安全的环境奖励函数和反映行车效率的辅助奖励函数。
6.根据权利要求5所述的基于多时间尺度的分层车辆驾驶决策方法,其特征在于,所述低层模型的环境奖励函数与高层模型的环境奖励函数一致,表示为:;
所述辅助奖励函数包括变道奖励、安全距离惩罚、提前到达奖励和动作幅度惩罚,其中:变道奖励表示为:
;
式中,为目标车辆需要变换的目标车道,为判断换道行为是否合适的常数阈值;
安全距离惩罚表示为:
;
式中,为目标车辆所处车道,是根据交通规则和实际情况预设的安全距离;
提前到达奖励表示为:
;
式中,t为当前时刻,为最大控制时长;
动作幅度惩罚表示为:
;
所述低层模型的奖励函数表示为:
;
式中,为权重系数。
7.根据权利要求6所述的基于多时间尺度的分层车辆驾驶决策方法,其特征在于,所述步骤3中采用TD3算法训练低层模型具体包括:步骤301.初始化策略网络参数、第一评价网络参数、第二评价网络参数、经验回放池和最大控制时长;
步骤302.向低层模型输入当前时刻的状态,策略网络根据状态生成动作;
步骤303.基于动作与驾驶环境交互得到下一时刻的状态,并通过低层模型的奖励函数得到当前时刻的奖励;得到经验数据集,将其保存至经验回放池,且,;
步骤304.判断经验回放池中的经验数据数量是否大于预设的采样经验批量,若是,则进入步骤305,若否,返回步骤302;
步骤305.从经验回放池中采样一批经验数据集训练低层模型,通过最小化动作的Q值的均方误差更新第一评价网络和第二评价网络的参数;表达式为:;
;
式中,为折扣因子,为采样的经验数据总量,为动作噪声;
步骤306.通过策略梯度更新策略网络参数,表达式为:;
步骤307.采用软更新的更新方式分别更新目标策略网络参数、第一目标评价网络参数和第二目标评价网络参数,表达式为:;
式中,为更新参数权值;
步骤308.判断是否满足训练结束条件,若是,则结束训练,若否,则返回步骤302。
8.根据权利要求7所述的基于多时间尺度的分层车辆驾驶决策方法,其特征在于,所述步骤308中的训练结束条件为:条件A1.,表示所述目标车辆驶出道路边界;
条件A2.,表示所述目标车辆与环境车辆发生碰撞;
条件A3.,表示当前时刻达到最大控制时长;
条件A4.,表示目标车辆到达终点区域;
当满足上述任一项条件时,结束训练。
9.根据权利要求1所述的基于多时间尺度的分层车辆驾驶决策方法,其特征在于,所述步骤410中的训练结束条件为:步骤B1.,表示所述目标车辆驶出道路边界;
条件B2.,表示所述目标车辆与环境车辆发生碰撞;
条件B3.,表示当前时刻达到最大控制时长;
条件B4.,表示目标车辆到达终点区域;
当满足上述任一项条件时,结束训练。