1.交叉口右转车辆与行人交互轨迹的预测方法,其特征在于,包括:S1.获取混合交通场景中多个智能体的历史轨迹数据及其初始状态信息,并构建环境编码状态向量;
S2.将历史轨迹数据输入最大熵逆强化学习模型,生成轨迹的最大熵概率分布模型,并学习历史轨迹的最优奖励函数;
S3.最大熵概率分布模型的最优奖励函数构建KL-AIRL模型,以对策略分布与专家分布间的差异进行约束;
S4.KL-AIRL模型中引入多智能体KL约束的Nash Q-learning算法,对各智能体策略进行联合优化,以在博弈交互环境中实现策略的稳定收敛与全局最优平衡;
S5.将KL-AIRL模型训练得到的策略模型与初始状态输入行为仿真器,依据融合策略进行动作采样,生成预测结果;
S6.将预测结果与真实轨迹进行对比,基于指定指标对KL-AIRL模型精准度进行验证;
所述S4步骤中Nash Q-learning算法对各智能体策略进行联合优化的具体优化流程包括:构建多智能体交互的实现公式如下:
其中,表示为当前状态下第个智能体受奖励函数参数影响的多智能体联合动作的评价Q值,为智能体集合,为第个智能体动作的动作空间,为第个智能体的Q函数,定义为在状态下,受奖励参数影响的多智能体局部博弈关系,为奖励参数,为当前状态,为联合动作;
根据当前奖励参数和局部博弈,求解正则化纳什均衡混合策略,其中为智能体执行动作后的下一时刻状态,正则化纳什均衡策略根据当前奖励参数确定,存在满足条件:其中,表示当其他智能体都采取其最优策略时,智能体所能获得的预期奖励,为智能体在状态和动作下的Q值,为其他智能体的最优策略为智能体的参考策略,为其他智能体在纳什均衡下的最优动作联合,为智能体的候选策略,为正则化系数,表示计算KL散度值;
状态开始的预期累积回报的计算如下所示:
其中,为联合动作的期望,为根据纳什均衡混合策略进行采样操作的动作,为在当前奖励参数下,通过博弈求解得到的各智能体最优策略集合,为智能体的Q值;
之后对于Q值函数,使用Bellman公式更新,更新公式如下:其中,表示控制更新强度的权重参数,为环境分类分支的权重系数;
最后,根据历史示范轨迹的似然函数,更新奖励参数,有:其中,为历史示范轨迹集合,用于模型训练的真实专家轨迹数据样本库,为轨迹的概率,表示在当前奖励参数下,观测到特定历史轨迹的可能性,为对参数求偏导,为学习率参数,为控制参数更新步长的超参数;
其中更新如下述方程所示:
其中,为策略间的KL散度平均值,为环境数量,为在环境下的策略。
2.如权利要求1所述的交叉口右转车辆与行人交互轨迹的预测方法,其特征在于,所述S1步骤中环境编码状态向量设置为:,其中,为包含个环境编码状态的环境编码状态向量,、分别表示智能体平面坐标的横向量和纵向量,、、分别表示智能体速度、加速度和移动方向角、角速度,表示场景属性,且采用独热编码。
3.如权利要求2所述的交叉口右转车辆与行人交互轨迹的预测方法,其特征在于,所述S2步骤中最大熵逆强化学习模型的模型构建计算式包括:其中,为在奖励参数为时,轨迹的概率;表示在状态、动作和环境下的奖励,表示在第个状态以及该状态对应动作和环境下的奖励,为轨迹的累积奖励,表示最优行为在每个状态下执行动作的奖励总和,为初始状态的概率,表示该轨迹从状态开始的可能性,为轨迹中每一步状态转移的概率乘积,表示在执行动作后从状态转移到状态的可能性;
为归一化常数,用于确保所有可能轨迹的概率之和为1,其计算公式如下:其中,奖励函数用于反映轨迹的优劣,由参数定义,使用随机梯度上升法更新,更新计算公式为:其中,是历史轨迹的集合,是学习率参数,是参数的梯度。
4.如权利要求3所述的交叉口右转车辆与行人交互轨迹的预测方法,其特征在于,所述S3步骤中判别器用于通过函数给出可能性的最大化,其具体操作流程包括:其中,表示为历史轨迹的数学期望,表示为预测轨迹的数学期望,为总时间步长,为历史策略分布,为步长下对于状态下执行动作的判别器计算,存在判别器计算如下所示:其中,为步长下对于状态下执行动作的reward函数,为环境分类的特征向量斜体,为环境分类的权重矩阵,为环境分类分支的权重系数,为步长下策略网络预测的动作分布,由抽样权重来计算有效,抽样权重使用KL散度融合,计算如下所示:为策略网络学习率,为在策略下的期望,为正则化系数,表示计算KL散度值,具体为衡量当前学习策略与历史参考策略之间分布差异的指标,为参考策略在状态下选择动作的概率,为策略网络参数求偏导,动态参考策略更新如下所示:其中,为平滑系数,为当前策略。
5.如权利要求4所述的交叉口右转车辆与行人交互轨迹的预测方法,其特征在于,所述S5步骤中仿真器进行动作采样过程中引入双路径轨迹预测机制,有具体机制执行流程为:系统开始生成预测轨迹时,同时调用训练得到的策略网络与参考策略,并通过环境自适应融合公式构建最终动作策略,其中,两条策略的融合权重由环境不确定性系数动态调节:当环境为已知或模型置信度较高时,采用的输出;
在环境存在噪声、不可观测因素或交互结构变化大于指定阈值时,提高对参考策略的依赖;
完成策略融合后,系统根据进行动作采样,并将采样结果输入物理引擎或动力学模型更新状态,循环执行直到完整轨迹生成,有公式为:其中,为在时间步选择的动作,为融合策略,为环境不确定性系数。
6.如权利要求4所述的交叉口右转车辆与行人交互轨迹的预测方法,其特征在于,所述S5步骤中仿真器进行动作采样最终生成预测结果的具体操作流程包括:输入智能体的初始状态;
在每一时间步h采样动作;
通过物理引擎更新状态至,直至生成完整预测轨迹,为总时长;
其中,行人的位置更新如下:
其中,行人速度更新如下:
其中,行人角速度更新如下:
其中,表示时刻行人的横向位置,表示时刻行人的纵向位置,表示时刻行人的速度,表示时刻行人航向角,表示时刻行人的角速度,表示时间差;表示行人加速度;
其中,车辆的位置更新如下:
其中,车辆速度更新如下:
其中,车辆角速度更新如下:
其中,表示时刻车辆的横向位置,表示时刻车辆的纵向位置,表示时刻车辆的速度,表示时刻车辆航向角,表示时刻车辆的角速度,表示时间差,表示时刻的车辆加速度,表示环境噪音。
7.如权利要求4所述的交叉口右转车辆与行人交互轨迹的预测方法,其特征在于,所述S6步骤中的验证流程包括:基于KL散度计算结果评估策略迁移后的冲突率变化、避让行为适应性及轨迹偏移程度,有计算公式为:其中,为策略可迁移性指数,为环境数量,为在环境下的策略检查全文所有格式问题。
8.如权利要求7所述的交叉口右转车辆与行人交互轨迹的预测方法,其特征在于,所述S6步骤中的验证流程还包括:计算预测时间步内真实轨迹与预测轨迹之间的平均欧氏距离作为平均位移误差,公式如下:计算真实轨迹与预测轨迹在最终位置的平均欧式距离作为最终位移误差,公式如下:其中,为测试样本数,为预测时长,和分别为第个样本在时刻的预测位置和真实位置;
计算均方根误差,以反映误差的总体大小,计算如下:
其中,为时刻实际加速度,为时刻预测加速度。
9.一种计算机设备,其特征在于,包括存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如权利要求1至8中任一项所述方法的步骤。