1.一种基于因果知识的可解释自动驾驶决策方法,其特征在于,包括以下步骤:步骤一、发现面向自动决策知识的因果,具体方法如下:
11)采集多源异构行车数据,具体为:
111)采集虚拟仿真数据;
通过搭建驾驶模拟器和仿真平台,设计各种驾驶场景,包括城市道路、高速公路、乡村道路,覆盖不同的天气状况、交通流量和道路状况;添加动态元素,包括车辆、行人、自行车;模拟真实交通环境,包括道路、建筑物、交通标志、信号灯;构建完整的虚拟驾驶环境,所有场景元素特征信息构成虚拟仿真环境下多源异构行车数据集合Ωv,如公式(1)所示:Ωv={he, hn, hb, hp, hl,hs} (1)式中,he、hn、hb、hp、hl、hs分别为自车,相邻车辆、相邻自行车、行人、交通灯和标识牌场景元素的特征集合;其中,hl={xl,yl,sl},hs={xs,ys,ss};xe、ye、se、te和be分别为自车的横向位置、纵向位置、横向速度、纵向速度、转向盘转角、加速踏板开度和制动踏板开度;sn、xn、yn、分别为相邻车辆的类型、横向位置、纵向位置、横向速度、纵向速度;xb、yb、分别为自行车的横向位置、纵向位置、横向速度、纵向速度;xp、yp、分别为行人的横向位置、纵向位置、横向速度、纵向速度;xl、yl、sl分别为交通灯的横向位置、纵向位置和状态;xs、ys、ss分别为交通标识牌的横向位置、纵向位置和状态;
112)采集实车数据;
通过惯导定位装置,激光雷达、毫米波雷达、相机获得的原始数据,经过处理得到目标级数据,得到实车环境下的多源异构行车数据集合Ωr;
113)对场景进行分类;
将仿真数据Ωv和多源异构行车数据集合即实车行车数据Ωr按照道路拓扑结构进行场景切片,确定每个场景切片的起点和终点,道路拓扑结构分为不同曲率的道路、有无红绿灯的交叉口、T型交叉口和环岛交叉口;确保切片内的道路、交通标志、信号灯元素完整且一致;根据自车周围环境车辆的数量对场景片段进一步进行分类,相同数量的环境车辆划分为同一类场景;
114)整合多源异构行车数据;
将生成的场景切片存储为独立的仿真场景,建立切片索引,保存每个切片的类型、位置、环境信息;根据需要扩展切片库,增加新的切片类型和场景,得到不同路段和不同数量的周围环境车辆分类集合Ωv,n和Ωr,n;
12)基于决策观测数据的因果发现建立模型,具体为:
121)对数据进行预处理;
对得到的Ωv,n和Ωr,n进行数据清洗和数据标准化;首先,对缺失值通过拉格朗日插值法对数据进行填充,采用数据标准化将不同尺度的数据转换为统一尺度,计算公式为(2):式中,Xmax和Xmin分别为数据的最大值和最小值;
122)构建因果关系模型;
采用核回归作为非线性模型,将环境车辆、交通信号灯和交通标识牌视为变量,根据不同路段,不同数量的环境车辆、有无交通信号灯和交通标识牌场景下的自车驾驶行为,分析影响自车驾驶行为变量间的非线性因果关系;
123)对模型进行拟合与评估;
采用格兰杰因果关系检验,对模型参数进行拟合,并通过显著性检验确定因果骨架结构;生成因果图,用于表示影响自车驾驶行为的变量间的因果关系,并量化不同变量对自车驾驶行为的影响程度,最终输出DAG图Gc;
13)整合自动驾驶决策知识,具体为:
131)定义路段行驶知识;
整合影响在路段上自动驾驶车辆行为决策知识;考虑自车和环境车辆、交通标识牌之间的交互关系,采用因果图表示影响自车驾驶行为的变量间的因果关系,按照有无交通标识牌和自车周围环境车辆的数量对因果图进行分类;
132)定义交叉口决策知识;
定义交叉口场景下影响自车驾驶行为决策知识;考虑交通信号灯、行人和环境车辆对自车的影响;按照有无信号灯,行人与环境车辆的数量,分类保存能够表示影响自车驾驶行为的变量间的因果关系的因果图;
步骤二、构建可解释自动驾驶决策模型;
步骤三、评估自动驾驶决策系统的可解释性;
步骤四、评估自动驾驶决策系统性能。
2.根据权利要求1所述的一种基于因果知识的可解释自动驾驶决策方法,其特征在于,所述步骤二的具体方法如下:
21)构建自动驾驶车辆行车场景;
22)构建自动驾驶决策模型;
23)评估模型离线测试结果。
3.根据权利要求2所述的一种基于因果知识的可解释自动驾驶决策方法,其特征在于,所述步骤21)的具体方法如下:
211)对场景元素进行提取;
提取自动驾驶车辆行车场景中的场景元素,动态场景元素包括自车、相邻车辆、行人、自行车和红绿灯,静态场景元素为交通标识牌;
212)提取因果关系;
将整合的自动驾驶决策因果图和时空图结构进行相似度的计算,选择相似度高的因果图,将自动驾驶决策因果知识对时空图进行初始化,相似度计算如式(11)所示:式中,Gc和Gd分别为因果图和行车场景图;mcs(Gc,Gd)为两图最大公共子图的节点数;max(|Gc|,|Gd|)为两图各自节点数乘积的比值;
213)表示基于时空图结构的自动驾驶行车场景;
将自动驾驶车辆行车场景采用时空图表示;对于某一时刻而言,场景元素用采用图的节点表示,场景元素之间的关系用节点与节点之间的有向边表示;动态场景建模为:在图结构的基础上,加入时间维度,形成序列形式的图模型,图结构表示为式(12)所示:G={V,E} (12)
式中,V={ve,vn,vb,vp,vl,vs};节点ve,vn,vb,vp,vl,vs分别为自车、邻车、自行车、行人、交通信号灯和标识牌;e分别为自车与邻车、自行车、行人、交通信号灯和交通标识牌的有向边;有向边的连接关系根据节点之间的距离确定,ve和vi的距离d(ve,vi)的计算公式(13)和(14)为:式中,ve,x为自车的横向坐标;vi,x为自车相连的节点vi的横向坐标;ve,y为自车的纵向坐标;vi,y为与自车相连的节点vi的纵向坐标;
当d(ve,vi)<100m时,ve和vi的之间存在有向边;有向边的权重由提取的因果图进行初始化,保证所有节点有向边的权重和为1;
所述步骤22)的具体方法如下:
221)构建面向自动驾驶决策的数据集;
对采集的自动驾驶车辆行车数据划分数据集;使用固定大小的滑动窗口来创建训练样本;采用历史3s的自动驾驶车辆行车数据预测未来2s的驾驶行为动作序列;样本数量的70%、20%和10%分别划分为训练集、测试集和验证集;样本数量Ntot的计算公式如(15)所示:式中,N为时间序列的总长度;窗口大小W为每个样本包含的时间步数;步长S为窗口每次移动的时间步数;
222)嵌入自动驾驶决策因果知识;
将计算得到相似度高的因果图,提取因果图的因果关系,并将因果关系嵌入至时空图模型中;包括影响自车驾驶行为的节点和边的关系;
223)对“自车-场景元素”的时空相关性进行学习;
通过时空图神经网络学习自车和场景元素间的时空交互关系获取;首先,经过时间注意力机制计算得到自车节点的特征表示;然后,设计一个图卷积神经网络,对每个时刻的图结构进行挖掘,得到聚合周围节点的自车节点的特征表示,通过一个时间注意力机制学习自车特征每个时刻的重要度;最后,采用通道注意力机制的方式进行自车-场景元素时空相关性融合;
224)对自车驾驶行为动作进行映射;
将学习得到的编码向量通过维度变换、变形和线性变换,映射为三维向量,分别代表自车转向盘转角、加速踏板开度和制动踏板开度;
所述步骤23)的具体方法如下:
231)定义评价指标;
以平均绝对误差MAE、均方根误差RMSE和平均绝对百分比误差MAPE为指标,评价模型预测值和真实值的差异;MAE、RMSE和MAPE的计算公式(16)、(17)、(18)如下所示:式中,yi和分别为自动驾驶车辆真实驾驶动作序列和预测的驾驶行为动作序列;N表示样本的个数;
232)对模型进行离线测试;
通过分析MAE、RMSE和MAPE,衡量自动驾驶车辆转向盘转角、加速踏板开度和制动踏板开度的预测值与真实值之间的偏差程度;将自动驾驶决策的数据集分为若干份,在不同的数据子集上进行模型的训练和验证;将数据集均匀分成k个互斥子集;每次挑选其中的k-1个子集用作训练,剩下一个子集用于验证;模型经过k次训练和验证,每次验证集不同;最终,取k次验证结果的平均值作为模型的评估指标。
4.根据权利要求1所述的一种基于因果知识的可解释自动驾驶决策方法,其特征在于,所述步骤三的具体方法如下:
31)定义可解释性标准;
32)进行自动驾驶决策模型事前解释;
33)进行自动驾驶决策模型事后解释;
34)对自动驾驶决策系统进行评价。
5.根据权利要求4所述的一种基于因果知识的可解释自动驾驶决策方法,其特征在于,所述步骤31)的具体方法如下:
311)分析模型透明度;
对模型自身的决策机制进行分析,通过研究模型内部的结构和参数来获得解释;将模型的事前解释结果作为模型透明度分析结果;对模型的输入层、图注意力层、时间卷积层、时空融合层、全连接层、归一化层、激活层、残差连接层以及输出层进行评价得分,图卷积的具体公式和操作解释节点特征如何通过邻近节点进行聚合;相似的输入数据应该在每一层应该有稳定的输出结果;输出模型透明度分析结果U;
312)对模型敏感度进行分析;
通过引入扰动分析特征重要性,作为评估模型事后可解释性的指标;采用反事实解释方法,在预测前对模型的输入特征进行更改,分析模型预测变化;将反事实解释结果作为模型敏感度分析结果,输出模型敏感度分析结果V;
313)进行客观评价;
对自动驾驶系统进行客观评价;根据预设的情况对影响自车驾驶行为的场景元素进行打分,每个场景元素都有唯一对应的分数,根据分数对自车驾驶行为影响程度进行分类,分为强、一般和弱,最终获得不同场景下影响自车驾驶行为的场景元素的客观评价结果W;
314)定义可解释性综合评价模型;
定义可解释性综合评价模型,对透明度、敏感度和客观评价的综合评价结果,输出综合评价结果;将得到的关键特征分析结果U、V和W进行重要度的排序,排序规则,计算公式(33)为:S=U∩V∩W (33)
式中,S为步骤311)、步骤312)和步骤313)获得的关键特征的交集集合,剩余特征按照两两相交的原则,优先级大小定义为U∩V∩W>U∩V>V∩W>U∩W>U>W>V,获得特征重要度排序结果;
所述步骤32)的具体方法如下:
321)对模型结构进行分析;
将定义的图结构进行分析,图结构的边是进行消息传递的关键因素,节点之间的连接边由不同语义和特征的场景元素的交互关系确定;为了区分不同边在消息传递时的重要程度,首先根据因果关系模型对不同的边的固定权重进行初始化;模型训练过程中,将权重进行参数化,通过反向传播和梯度下降算法更新边的权重,并对学习得到的边的权重进行可视化;
322)对节点重要度进行分析及可视化;
选择和提取对模型预测有重要影响的特征,并将结果进行可视化;根据自车节点和其他场景元素节点之间的邻接矩阵,以自车节点作为中心节点,聚合周围节点特征,通过热力图对节点的重要度进行可视化;
323)获得事前解释结果;
将相同场景下对自车驾驶行为影响程度大的节点进行统计,按照节点重要度的计算结果进行排序,通过直方图、箱线图展示对自车行为决策不同影响程度的特征变量的频率分布;确定不同节点特征对模型预测结果影响程度的排序结果U,生成模型解释性报告,详细描述每个特征对预测结果的分布情况;
所述步骤33)的具体方法如下:
331)输入关键变量;
输入关键变量;具体为:训练好的自动驾驶决策模型f,定义的关键变量Xi;
332)构建反事实情境;
通过构建反事实情境,采用do算子生成反事实,干预多个特征X1,X2,…,Xk,生成新的输入特征,其余特征保持不变,计算公式(34)为:Xi′←do(Xi←vi) i=1,2,...,k (34)式中,vi为干预后的值,生成的反事实状态Xi′是一个与Xi相似但是某些特征被干预的输入;然后使用干预后的输入状态,改变车辆的行车环境,计算反事实决策结果Y′,计算公式(35)为:Y′=f(X′) (35)
为了找到最佳的反事实状态,使用优化算法最小化综合损失函数,损失函数计算公式(36)为:式中,第一项是决策差异,第二项是输入的相似度,λ是平衡这两项的超参数;使用梯度下降算法求解,找到X′;Xi为输入特征;X′为干预后的状态;wi为待学习的权重向量;
采用加权欧几里得距离评估X和X′的相似度,计算公式(37)为:
333)评估关键因素;
评估自车驾驶行为的关键变量;首先,评估反事实决策结果Y′的影响,包括安全性、效率性和合规性,定义一个影响函数E(Y,Y′)对差异值进行量化,差异值量化计算公式(38):E(Y,Y′)=ws(s(Y)-s(Y′))+we(e(Y)-e(Y′))+wl(l(Y)-l(Y′)) (38)式中,s、e和l分别为安全性、效率性和合规性评价得分函数;ws、we和wl分别为安全性、效率性和合规性的权重系数;根据差异值大小找到使得反事实决策Y′的安全性、效率性和合规性降低的关键变量;
334)获取事后解释结果;
将关键变量进行分析,通过直方图和箱线图统计影响安全性、效率性和合规性的关键变量,并记录反事实实例场景和关键变量;确定相同场景下影响自车安全性、效率性和合规性的关键变量排序结果V;
341)定义调查问卷;
依据自动驾驶决策系统的客观评价的调查问卷,获得评价得分结果;调查问卷设计如下,换道场景确定影响自车换道的场景元素及特征;紧急制动场景确定影响自车刹车的场景元素及特征;有红绿灯的交叉路口场景确定影响自车驾驶行为的场景元素及特征;
342)将步骤41)的调查问卷的评估结果进行统计,根据评价得分分值获得场景元素及关键特征变量排序结果W,并通过图形可视化的方法,直观地展示不同场景元素对车辆驾驶行为的影响程度。
6.根据权利要求1所述的一种基于因果知识的可解释自动驾驶决策方法,其特征在于,所述步骤四的具体方法如下:
41)自动驾驶决策系统进行测试;
42)设置自动驾驶决策系统评价指标;
43)对自动驾驶决策系统性能进行分析。
7.根据权利要求6所述的一种基于因果知识的可解释自动驾驶决策方法,其特征在于,所述步骤41)的具体方法如下:
411)进行模型在环测试;
通过将仿真软件中接口将自车、环境车辆、行人以及交通灯信号输入至训练好的模型中,模型经过计算输出转向盘转角、加速踏板开度和制动踏板开度信号控制指令,通过虚拟接口将控制信号发送给自动驾驶车辆,实现自动驾驶车辆的状态更新;在仿真软件中设置起点和终点,随机生成不同密度和不同流量的交通参与物,中间经过不同曲率的路段,有红绿灯的交叉口、无红绿灯的交叉口、环岛交叉口路段;自动驾驶车辆由起点行驶至终点,发生碰撞仿真结束,无发生碰撞且按照交通规则行驶则记录为一次成功的试验,记录发生碰撞的次数;
412)进行实车在线测试;
在采集数据的路段进行算法的实车在线测试,测试自动驾驶决策系统在高速公路环境下长距离行驶、车道保持、变道、超车功能,以及城市道路环境下拥堵路段、多车道交汇、有无交通信号灯的交叉口的通行能力;在不同交通密度和流量下进行实车试验,设定起点和终点;当自动驾驶决策系统无法应对当下行车场景时,驾驶人随时接管控制车辆;当驾驶人接管时,表示自动驾驶决策系统在当前场景下决策失败,记录驾驶人的接管次数;
所述步骤42)的具体方法如下:
421)进行行车安全性评价;
在模型在环测试时通过碰撞率作为评价自动驾驶车辆行车安全性的指标,实车在线试验时通过接管率作为评价行车安全性的指标,碰撞率和接管率的计算公式(39)和(40)如下:式中,Ttot为试验总次数;Tc为虚拟仿真试验中发生碰撞的次数;Tt为实车测试试验中驾驶人接管的次数;
422)进行行车效率评价;
通过自动驾驶车辆行车效率对决策系统进行性能评估,行车效率计算公式(41)如下:式中,Te为满足最小通行时间的试验次数;Tsuc为成功次数;
423)进行行车合规性评价;
通过自动驾驶车辆行车合规性对决策系统进行性能评估,行车合规性计算公式(42)如下:式中,Tl为满足交通法规的试验次数;
所述步骤43)的具体方法如下:
431)获得模型在环测试结果;
通过分析行车安全性、行车效率和行车合规性评价结果评估自动驾驶车辆决策性能,计算总体碰撞率,评估系统在所有测试场景下的整体碰撞情况,绘制直方图或饼图,展示总体碰撞率的分布情况;分别计算每个特定场景下的碰撞率,评估系统在不同场景下的碰撞情况,绘制柱状图或折线图,展示各场景下碰撞率的差异,并记录发生碰撞事故的自车、相邻车辆、行人和环境信息;
432)获得实车在线测试结果;
通过绘制直方图或饼图,统计自动驾驶车辆在各类场景下的行车安全性、行车效率和行车合规性评价结果;自动驾驶车辆行车过程中,记录驾驶人接管时自车、相邻车辆、行人和环境信息;
433)对结果反馈进行优化;
对模型在环测试结果和实车在线测试结果进行分析记录模型;在失败用例中研究模型的决策机制,定位决策失败的原因,提升算法的性能;分析每次碰撞的原因,绘制分组柱状图,展示不同原因导致的碰撞次数。