1.一种考虑他车风格的强交互场景下端到端自动驾驶系统,其特征在于:包括图像特征提取模块、交通参与者风格感知模块、价值估计模块和策略模块;
图像特征提取模块接收原始图像数据,对图像进行卷积处理后,对图像特征进行拼接,再进行下采样,降维得到最终的图像特征;
交通参与者风格感知模块建立三维类图的空间特征,三个维度分别对应着交通参与者的纵向排列位置、横向排列位置以及状态的基本组成,利用卷积网络提取历史时间窗内的每一个空间状态的特征编码,利用时序卷积网络结合注意力机制,提取驾驶风格隐式特征,经过线性层以及softmax函数处理得到最终的交通参与者的驾驶风格特征;
所述的交通参与者风格感知模块收集自车与周围交通参与者的时空信息,基于车辆基本状态构造自车以及周围交通参与者的历史信息,构建类图的三维空间状态,选定自车EV周围的8个交通参与者命名为前方车辆FV、后方车辆ReV、左侧车辆LV、右侧车辆RV、左前方车辆LFV、右前方车辆RFV,左后方车辆LRV、右后方车辆RRV,三维空间状态由周围交通参与者的运动状态组成,描述为:;
其中,是时间窗口长度,t是时间步,t0是当前时间;交通参与者的运动状态,包括交通参与者纵向速度、交通参与者横向速度、交通参与者纵向加速度、交通参与者横向加速度、交通参与者纵向急动度、交通参与者相对主车的纵向距离、交通参与者相对主车的横向距离共7个维度,即交通参与者运动状态维度;交通参与者的运动状态写作:;
利用二维卷积网络对空间状态进行处理,提取相邻交通参与者的空间交互关系;二维卷积的输出通道数为,卷积核尺寸为KCS=2,滑动步长为SCS=1,将输出的三维张量进行层归一化、线性修正和展平处理,得到一维的空间特征编码其中空间特征编码维度;
形成空间特征编码历史时间序列,其中,再利用时序卷积网络结合注意力机制进行处理,所述时序卷积网络结合注意力机制是在时序卷积网络中结合因果卷积和膨胀卷积;膨胀卷积在因果卷积的基础上将卷积核的采样间隔扩大,将传统一维卷积的编码结果和多层膨胀因果卷积的编码结果进行展平处理得到直接时序特征和因果时序特征,其中、分别为直接时序特征维度与因果时序特征维度;在注意力机制中,线性变化直接时序特征为值向量和键向量,线性变化因果时序特征作为查询向量,从因果的角度增强时序特征,其中为注意力三元向量的维度;值向量、键向量和查询向量表示如下:;
;
;
其中,、分别为值向量、键向量、查询向量的线性投影权重矩阵,和分别对应着一维卷积处理和膨胀因果处理之后的特征编码的维度;
图像特征和交通参与者的驾驶风格特征经过特征拼接后输入给价值估计模块和策略模块,价值估计模块输出的价值用于引导策略模块的自动驾驶策略训练,策略模块输出的动作用于自动驾驶车辆与交通环境的交互。
2.根据权利要求1所述的一种考虑他车风格的强交互场景下端到端自动驾驶系统,其特征在于:在图像特征提取模块中,输入不同角度图像信息,所述不同角度图像信息由同一时刻正前、左后、右后三个视角的单帧图像组成,、、分别为图像的通道数、高度和宽度;利用二维卷积网络处理图像输入,设定二维卷积网络的输出通道数为,卷积核尺寸为,滑动步长为,卷积后三个视角的输出分别为,、为图像卷积输出的高度和宽度,其中、;经过展平处理后输出三个视角各自的一维图像特征,其中二维卷积网络输出维度,经过拼接处理后再利用一个全连接层进行下采样,最终得到时间步t的图像特征,为线性全连接层输出的图像特征维度。
3.根据权利要求1所述的一种考虑他车风格的强交互场景下端到端自动驾驶系统,其特征在于:所述的交通参与者风格感知模块中,所述时序卷积网络结合注意力机制,利用多层时序卷积网络提取因果时序特征,利用一维卷积提取直接时序特征;利用线性全连接层将展开的直接时序特征转换为值向量和键向量,利用线性全连接层将展开的因果时序特征转换为查询向量,利用时序特征内的因果关系增强时序特征。
4.根据权利要求1所述的一种考虑他车风格的强交互场景下端到端自动驾驶系统,其特征在于:在注意力机制中,针对时间步,首先计算查询向量与键向量之间的点积;然后,基于注意力三元向量的维度对点积结果执行缩放;通过Softmax函数对缩放后的得分进行归一化处理,得到时间步时基于因果机理所获知的时序特征编码的重要性权重向量:;
基于重要性权重向量,对值向量进行重要性加权,得到驾驶风格隐式特征:;
最终,将驾驶风格隐式特征输入至线性全连接层,得到t时刻各个交通参与者的结果级驾驶风格。
5.根据权利要求1所述的一种考虑他车风格的强交互场景下端到端自动驾驶系统,其特征在于:交通参与者风格感知模块利用深度监督学习方法进行训练,为应对场景特定方向无交通参与者的情况,将无交通参与者加入至交通参与者风格感知模块的输出结果中,将驾驶风格划分为保守型、一般型、激进型和无交通参与者四类;驾驶风格认知的目标是识别相邻交通参与者的驾驶风格,并且假定自车相邻交通参与者的数量为8,在时序卷积网络结合注意力机制模块的尾端设置有8组Softmax激活函数,每个Softmax激活函数对应有4个分支,即全连接输出层的输出维度为32;最终,模型的最终驾驶风格认知为输出维度中概率值最大的一个;训练过程中损失函数LTA采用交叉熵损失函数,定义如下:;
其中,为样本数量,为类别总数,为样本在类别上的独热真实标签,为模型输出的样本在类别上的预测概率。
6.根据权利要求1所述的一种考虑他车风格的强交互场景下端到端自动驾驶系统,其特征在于:所述的价值估计模块和策略模块基于MetaDrive仿真交互环境构建,利用强化学习实现自动驾驶策略的优化;建立一阶马尔可夫决策过程,其中,为状态空间,为动作空间,为状态转移概率,为奖励;元组的具体组成如下:时间步的状态由单帧图像原始信息以及相邻交通参与者的驾驶风格隐式特征组成;时间步的状态写作键值对形式:图像信息:,风格特征:;
(2)时间步的动作输出即为智能汽车的横纵向直接控制量,即加速踏板开度、制动踏板开度和方向盘转角,时间步的动作输出写作:;
(3)状态转移概率由环境设定决定,在MetaDrive仿真交互环境中,智能汽车基于当前状态执行动作,而后,车载传感器采集信息以及周围交通参与者行为的发生状态转移,其状态转移概率定义为,为下一时刻状态;
(4)时间步的奖励由数个子奖励项构成,表示为:
;
其中,为子奖励向量的权重矩阵,为当前时刻的子奖励向量;
强化学习的奖励由目标性奖励、评估性奖励以及惩罚组成,目标性奖励的建立目的是使自车快速地到达目的地;评估性奖励的建立目的是提升自车以及其他交通参与者的安全性以及舒适性;惩罚是环境探索的底线,保证车辆安全并遵守交通规则,在被惩罚后智能体会被重置;当前时刻的子奖励向量具体被定义为:;
其中,为位移奖励,为速度保持奖励,为成功到达目的地奖励,为安全性奖励,为侵略性奖励,为舒适性奖励,为惩罚向量。
7.根据权利要求6所述的一种考虑他车风格的强交互场景下端到端自动驾驶系统,其特征在于:当前时刻的子奖励向量中各项奖励具体定义如下:a.位移奖励设定为车辆在车道中心并朝目的地方向行进时会得到正向的奖励,属于目标性奖励,被定义为:;
其中,为单步内的车辆纵向位移;为横向保持系数,在车辆偏离车道中心后对其惩罚;为方向系数,当车辆反向行驶时对其惩罚;
b.速度保持奖励设定为车辆在正确方向上保持相对高速行驶时车辆会得到正向的奖励,属于目标性奖励,被定义为:;
其中,为自车当前车速,为场景允许的最高车速;
c.成功奖励设定为车辆成功到达导航目的点会得到稀疏但高的奖励,属于目标性奖励,被定义为:;
其中,为自车成功到达目的地后得到的常数奖励;
d.安全性奖励,表征交通参与者行为对自车安全性产生的影响;本发明利用风险场对自车的行车安全性进行评估;周围交通参与者相对自车产生的风险场场强定义为:;
其中,表示自车周围的交通参与者,自车前、后、左、右、左前、左后、右前、右后的交通参与者表示为;为在交通参与者j的Frenet坐标系下自车与交通参与者之间的距离矢量;为距离放缩因子,和分别为交通参与者沿其前进方向的加速度和法向加速度;为风险场的场强峰值,出现在交通参与者的质心位置;和分别为与交通参与者前进方向和法向的夹角;和为前进方向和法向加速度系数;为交通参与者的质量;
构建行车安全性奖励函数为:
;
其中,为驾驶人不会对风险做出响应的阈值场强;
e.侵略性奖励,表征自车行为对周围相关交通参与者产生的影响;对侵略性奖励的构建:;
其中,为自车对交通参与者形成的风险场场强;
f.舒适性奖励,表征驾驶人对于驾驶舒适性的需求,定义舒适性奖励为:;
其中,为自车的纵向急动度;
g.惩罚向量,对应着各种会使环境重置的情况,包括驶出道路、车辆碰撞、物体碰撞、行人碰撞,将惩罚向量表示为:;
其中,、、、分别为驶出道路、车辆碰撞、物体碰撞、行人碰撞的惩罚,均为常数项。
8.根据权利要求1所述的一种考虑他车风格的强交互场景下端到端自动驾驶系统,其特征在于:所述的策略模块和价值估计模块使用双延迟深度确定性策略梯度强化学习算法,策略模块和价值估计模块分别为一组策略网络和两组动作价值估计网络,策略网络和动作价值估计网络共用特征提取头,训练的网络对象包括图像特征提取模块、策略模块和价值估计模块,交通参与者风格感知模块由深度监督学习预先训练;
在网络设计上,一个现实策略网络和两个现实动作价值估计网络,每一个网络对应的都有一个目标网络,总共包含6个网络;在训练过程中,首先初始化各个神经网络参数,现实策略网络和目标策略网络的参数分别对应着、,两组现实动作价值估计网络和目标动作价值估计网络的参数分别对应着;现实策略网络根据时刻状态输出动作,环境接收后状态转移至下一时刻状态,并获取时刻子奖励,形成一个状态转移对,将其存储至经验池中;经验池到达一定规模后,从经验池提取小批量的状态转移对,现实动作价值估计网络根据时刻状态和动作输出动作价值估计值,目标动作价值估计网络根据下一时刻状态以及目标策略网络估算的下一时刻动作输出下一时刻的动作价值估计值。
9.根据权利要求8所述的一种考虑他车风格的强交互场景下端到端自动驾驶系统,其特征在于:在计算动作时加入正态分布的噪声,并根据实际动作范围进行截断,增强智能汽车的探索能力,公式如下:;
其中,为现实策略网络在状态下重新输出的动作,为服从标准差为的正太分布的高斯探索噪声;
对目标策略网络估算的下一时刻动作的周围区域进行模糊拟合,方式为加入正态分布的噪声,对噪声进行提前截断,公式如下:;
其中,为目标策略网络在状态下重新输出的动作,为噪声幅值裁剪阈值,是从正态分布采样的原始探索噪声,为裁剪后的有效探索噪声;
计算目标动作价值的公式如下:
;
动作价值估计网络的损失函数计算公式如下:
;
其中,为时间步的奖励,为用于强化学习微调的无标签样本数量;为当前动作价值估计值;
利用动作价值估计网络估算的Q值指导策略网络更新,参数优化方法使用梯度上升,目标函数如下:;
其中,为现实策略网络根据状态重新输出的动作;
对于目标网络的更新,采用软更新的形式,引入学习率,在每一次更新时,取用新旧参数的混合值,学习率决定了软更新的幅度,公式如下:;
现实策略网络的更新延迟于现实动作价值估计网络,提升训练过程的稳定性。