1.一种面向高度自动驾驶的人机决策逻辑在线校验方法,其特征在于:其方法包括如下步骤:第一步、数据及信息流输入,具体步骤如下:
将传感器检测到的人‑交通混杂态势的多模态态势数据输入在线评估周期计算模型;
将在线评估计算周期、人机混合决策驾驶权评估结果、人机混合增强智能决策模型内参以及人机混合决策内模结构输入人机混合决策综合评估模型,作为人机混合决策模型的评估依据;
作为输入的人‑交通混杂态势的多模态态势数据中包含了可表征驾驶人驾驶能力及驾驶状态的驾驶人态势数据,可表征车辆状态的车辆态势数据和可表征车辆周围交通环境状态的环境态势数据;驾驶人态势数据中,驾驶人的年龄、驾龄、驾驶里程以及受教育程度的指标能够反映驾驶人的驾驶能力,此外,血流量脉冲、皮肤电导以及眼动参数作为三个典型的生理指标,能够在一定程度上反映驾驶人的驾驶状态;车辆态势数据包括平均车速、加速度标准差以及前轮转角标准差所反映的车辆纵向与横向运动状态的指标;环境态势数据能够反映车辆周围交通环境中的行车风险,分为静态障碍物造成的风险与动态障碍物造成的风险,风险大小通过车头时距、碰撞时间和相对速度的指标或建立行车风险场求解场强的方式来表征;
作为输入的人机混合决策模型的数据包含了模型中深度学习算法的神经元组结构与计算结果、模型内参、模型已用知识库以及决策结果;
第二步、对在线评估周期进行计算,具体步骤如下:
步骤一、进行人‑交通混杂态势可观性分析及人‑交通混杂态势的多模态态势数据质量分析,建立包含“人”态势及“交通”态势在内的混杂态势评估模型,通过基于可观性量表的参数分析,评估特定驾驶情景产生的多模态场景信息的可观测程度;通过基于参数逻辑门限的数据质量分析,评估特定驾驶情景产生的多模态场景信息的传输质量;
步骤二、进行人‑交通混杂态势危急程度在线评估,通过对人‑交通混杂态势的多模态态势数据进行聚类,将表征驾驶人驾驶能力及驾驶状态的驾驶人态势数据、表征车辆状态的车辆态势数据和表征车辆周围交通环境状态的环境态势数据分类,每一类对应人‑交通混杂态势危急程度的一个层级;通过对聚类结果进行降维,降低人‑交通混杂态势危急层级的复杂度,增加人‑交通混杂态势危急层级划分的合理性;通过将聚类结果与物理世界映射,得到人‑交通混杂态势危险边界回归模型,建立起多层级人‑交通混杂态势边界评价理论体系;
步骤三、进行在线评估周期计算,通过建立基于二维线性规划的态势评估与态势危险度映射模型,确定人机混合决策在线评估模型的计算周期;
第三步、对人机混合决策模型进行综合评价,具体步骤如下:
步骤一、进行人机混合决策模型可解释性评价,人机混合决策评价模型通过对人机混合增强决策中所用到的深度学习模型的可解释性进行研究,分析神经元组结构、算力及计算结果,实现对人机混合决策模型可解释性评价;
步骤二、进行基于模型预测控制的滚动时域决策结果预测,通过模型预测控制模拟人脑的决策过程,根据驾驶员预瞄原理,得到驾驶员在滚动时域的决策结果;通过模型预测控制模拟“机器脑”的决策过程,在考虑驾驶员操作的基础上跟踪参考路径,协助驾驶员完成操作;
步骤三、进行人机混合决策模型已用知识库评价,通过对人机混合决策模型知识库的场景元素的复杂度进行分析,从而得到已用知识库的复杂程度,作为判断人机混合决策模型可信性的一个依据;
步骤四、进行人机混合决策模型及知识库更新情况判断,通过对人机混合决策模型、内参及知识库进行相似性分析,设定更新阈值,从而判断更新的必要性;通过对人机混合决策模型、内参及知识库更新方式进行评价,分析更新的效果;
步骤五、进行基于层次分析法的人机混合决策模型综合评价,通过分析上述步骤一至步骤四中评价指标之间的影响关系建立层次结构模型,根据专家经验构造判断矩阵;通过层析排序确定评价指标的影响权重,进行一致性检验验证重要性排序的正确性;根据各指标的评价结果与层次分析法所得的排序结果,得到人机混合决策逻辑多层级在线校验结果,作为人机混合决策逻辑的在线反馈数据。
2.根据权利要求1所述的一种面向高度自动驾驶的人机决策逻辑在线校验方法,其特征在于:所述的第二步中的步骤一通过人‑交通混杂态势可观性分析与人‑交通混杂态势的多模态态势数据质量分析,建立了混杂态势评估模型,具体如下:人‑交通混杂态势可观性分析采用基于量表评价的分析方法,对人‑交通混杂态势的观测分为对驾驶人驾驶能力及驾驶状态的观测、对车辆状态的观测以及对车辆周围行驶环境的观测三个部分,这三部分的可观性共同决定了混杂态势的可观性,在上述三个待观测的部分中分别选取能够表征可观性的参数,并为参数设定阈值,将这些参数汇总制作可观性量表,通过对其中参数进行分析判断人‑交通混杂态势可观性;
人‑交通混杂态势的多模态态势数据质量分析主要评估数据的内在质量、数据量的适当程度以及数据的时效性;
数据的内在质量分为两个维度,包括数据正确性和数据精度,正确性评估数据正确、可靠和无错误的程度,精度是指数据采集和存储的精度,对于数据集L,设数据正确性和数据精度的量化值分别为qc、qp,其最低质量要求分别为θc、θp,则数据集L必须满足最低内在质量要求,如下式所示:R=(qc≥θc)∩(qp≥θp)
i i
数据li∈L的正确性用qc表示,精度用qp表示,则数据集L的正确性和精度可以通过平均函数计算:数据量的适当程度是数据质量分析的又一个维度,数据越多,训练模型的性能就越高,用于当前任务的数据集的数据数量要足够完成当前任务,且不会引起额外的资源浪费;
数据的时效性是指当前数据库中的数据适合当前任务的程度,时效性用两个参数来量化,即currency与volatility,其中,currency指数据的使用期限,volatility指数据保持有效的时间,通过数据集中数据片段的最大或平均时效性来评估数据集L的时效性。
3.根据权利要求1所述的一种面向高度自动驾驶的人机决策逻辑在线校验方法,其特征在于:所述的第二步中的步骤二通过基于数据驱动的机器学习算法,将人‑交通混杂态势的多模态态势数据进行聚类,从而建立起混杂态势的危急程度评估模型,具体如下:混杂态势危急程度评估模型采用蚁群算法对人‑交通混杂态势数据进行聚类,假设用于蚁群搜索的人‑交通混杂态势的多模态态势数据集L具有m个独立参数特征及其对应的E个观测变量,基于蚁群聚类的人‑交通混杂态势分类即为在L中找到能够使每个数据样本到达聚类数目已知的聚类中心的距离之和达到最小的划分,如下式:式中,lip为第i个数据样本的第p个模型参数特征,cjp为第j个类中心的第p个模型参数特征,Ej为观测变量E中第j类对应的观测变量,ωij为观测变量与分类间的从属关系标志量,蚁群聚类的分类质量通过迭代更新方程提高,更新方程如下式所示:式中,Pij为数据样本跨类转换的概率,τij为数据样本i和所属类j间的标准化信息素,ρ(0<ρ<1)为信息素挥发度,τij(t)为数据样本i和所属类j在t时刻的信息素浓度;
当聚类结果的类别较多,与物理世界中预设的人‑交通混杂态势层次数不一致时,按照预设的人‑交通混杂态势层次数,将聚类结果中相近的类别划分为一类进行降维,另外,还需要建立聚类结果与物理世界中预设的人‑交通混杂态势各层次的映射关系,考虑到待映射元素间存在逻辑联系,但并无可解释的物理及数理推导关系,采用多维线性优化回归模型,得到人‑交通混杂态势评价方程表达式如下式所示:式中,SOCX为人‑交通混杂态势危急程度,为人‑交通混杂态势的多模态态势数据集L的有效值子集,β为回归系数。
4.根据权利要求1所述的一种面向高度自动驾驶的人机决策逻辑在线校验方法,其特征在于:所述的第三步中的步骤一在人机混合决策过程中,混合增强智能理论能够获得环境信息、车辆状态信息以及人的推断信息,机器通过深度学习与强化学习理解人的推断过程与决策模式,以类脑计算模式填补人的决策缺陷,赋予自动驾驶系统较强的决策能力,实现“人机超脑决策”模式,为保证决策结果的安全性与可信性,对人机混合决策模型中的深度学习模型进行可解释性研究,具体如下:首先获取骨干网络最后一层全连接层的分类权重,以此作为决策树叶子节点,构建决策树层次结构,通过对节点输出进行可视化,使得深度决策树可解释性不再局限于节点精度及决策路径,而是能够在空间位置上给出可视化解释,直观理解模型逐层决策依据,同时,通过基于卷积核相关度验证模型可解释性的方法,对于模型输出特征图组进行扰动,以节点注意力图与决策路径变化为依据,验证决策树分类依据的可靠性;
k
在传统的基于类激活映射的可视化方法中,将最后一层卷积层输出的k个特征映射图Ak u×v进行加权平均池化,得出注意力图,具体来说,让倒数第二层产生K个特征图,A∈R ,每个k k元素以i,j为索引,所以Ai,j指的是特征图A在位置(i,j)的激活,然后使用全局平均池化对c这些特征图进行空间池化,并对其进行线性变换,产生每个类c的得分Y,如下式所示:(c)
在计算ak 的过程中,需要计算反向传播梯度与激活函数,即对权重矩阵与激活函数的连续矩阵进行乘积,直到梯度被传播到最终的卷积层,这些反向传播的梯度在宽度与高度(c)维度上进行全局平均池化,分别以i和j为索引,从而得到神经元重要性权重ak ,如下式所示:(c)
权重ak 代表了深度学习网络特征图的部分线性化,并获得特征图k对目标类c的重要性,对前向激活图进行加权组合,并在其后进行激活函数映射,得到模型构建的注意力图,如下式所示:(c) (c)
采用优化类激活映射算法,将全局平均池化后的权重ak 转化为基于矩阵值权重Wk ,如下式所示:其主要方式为经由模型最后一层卷积层后去掉全局平均池化层,对卷积层输出进行可视化从而保留最后一层卷积层的空间位置信息;
(c) (c) k
使用哈达玛积对特征图与权重Wk 作乘,记为Wk *A ,在哈达玛积的定义当中,若A=(aij)与矩阵B=(bij)为同阶矩阵,其哈达玛积记为C=(cij),如下式所示:(c) k
Wk 与A同为m×n矩阵,因哈达玛积能最大限度保留空间位置信息,突出显著性决策区(c)域,所以使用哈达玛积将权重Wk 与特征图相乘,输出权重特征图,如下式所示:所提出的优化类激活映射图保留了ReLU激活函数并将其应用于特征图的线性组合,ReLU激活函数能够有效区分相关和不相关的像素并提取对分类结果类有较高贡献度的特征,随后在特征图组中构建激活映射,对经过激活函数的特征图进行显著性映射求和得到注意力图,如下式所示:度量卷积核单元相关度使用IoU算法,在不同的网络中能够比较不同表征的可解释性,探究骨干网络相关卷积核对于模型类别的影响程度,以此验证决策依据的置信度,如下式所示:上述公式通过计算该层特征图二值化激活区域与不同语义标签结果的交并比来确定该层卷积核所具备的语义信息,其中,x代表输入样本,c代表类别信息,k代表某一卷积层的第k个卷积核单元,Lc(x)为输入图像的像素级标注区域,Mc(x)为像素的单元激活图Ak(x)进行上采样得到的激活图,并与输入像素的图像级标注Lc(x)进行比较,进行二值化语义分割,设定默认阈值为IoUk,c>0.05,当存在卷积核单元对应多个语义相关时取IoU最大值,则此卷积核单元为特定类别语义单元。
5.根据权利要求1所述的一种面向高度自动驾驶的人机决策逻辑在线校验方法,其特征在于:所述的第三步中的步骤二基于模型预测控制的方法对滚动时域内的人机混合决策结果进行预测,可增强人机决策结果的一致性;
以信息对称条件下人机协同转向操作为例,驾驶员在对称条件对控制器具备一定的适应性,利用模型预测控制模拟人脑的决策过程,根据驾驶员预瞄原理,驾驶员未来状态的预测方程如下所示:Xh(k+1|k)=Sshxx(k)+SshuUa(k)+SshuUh(k)Zh(k+1|k)=Sshzx(k)+SshuUa(k)+SshuUh(k)其中预测方程中的矩阵如下所示:
式中,δh为驾驶员的控制输入,δh为“机器脑”的控制输入,P为预测步数,N为控制步数,驾驶员的决策过程与控制器类似,其主要目标为跟踪所预瞄的理想的参考路径,驾驶员的理想路径用Rh(k+1)表示:T
Rh(k+1)=[rh(k+1) rh(k+2)…rh(k+P)]
驾驶员的目标由两部分表达,其中一部分是对理想路径跟踪,另一部分是对控制量的惩罚项,而两个目标通过权重Γsh与Γsuh进行权衡,因此驾驶员的决策可由以下控制目标优化求解表达:求解获得驾驶员的决策变量Uh(k)后,选取Uh(k)的第一个量进行执行;
“机器脑”接收驾驶员的控制变量,在考虑驾驶员操作的基础上跟踪参考路径,协助驾驶员完成转向操作,根据动力学模型,控制器的预测方程如下形式:Xa(k+1|k)=Ssaxx(k)+SsauUa(k)+SsauUh(k)Za(k+1|k)=Ssazx(k)+SsuzaUa(k)+SsazUh(k)预测方程中的矩阵具体表达形式如下:
其中Ra(k+1)为“机器脑”转向控制的参考路径:
信息对称条件下“机器脑”控制目标与驾驶员类似,即跟踪一条理想的参考行车轨迹,因此“机器脑”的控制目标表达为如下形式:其中Γsa与Γsua为“机器脑”控制目标目标函数的权重矩阵;
根据安全约束分析,车辆的侧向位置不应超过道路边界:
w是车辆的宽度,yr(k+i)和yl(k+i)是道路边界在预测时域的离散值;
此外,必须考虑满足以下约束条件的转向系统饱和:
Δδmin≤Δδf(k+i)≤Δδmax
其中Δδf(k+i)是前轮转角的增量,Δδmin和Δδmax分别是前轮角度变化率的上下界;
“机器脑”的控制策略表示为如下带约束的优化问题:
求解“机器脑”的决策变量后按照预定的驾驶权重与驾驶员决策变量进行交互叠加,得到基于模型预测控制的滚动时域的人机决策的预测结果。
6.根据权利要求1所述的一种面向高度自动驾驶的人机决策逻辑在线校验方法,其特征在于:所述的第三步中的步骤三通过对人机混合决策模型知识库的静态知识库复杂度与动态知识库复杂度进行分析,从而评价已用知识库的复杂度;
静态知识库复杂度引入信息熵理论确定静态知识库要素的信息熵,考虑静态知识库要素的类型和权重,静态复杂度系数,即信息熵的计算公式为:式中,θ1为静态知识库复杂度系数;h为静态知识库复杂度中各个组成要素所对应分组标签的类型总数;pi为根据静态知识库复杂度构建的图形结构中相同类型节点数与节点总数的比值;
不同静态知识库要素权重根据专家打分确定:
CO=θ1×(β1∑Y1+β2∑Y2+β3∑Y3+β4∑Y4+β5∑Y5)式中,Co为静态知识库复杂度;βn为静态知识库组成要素中第n个分组所对应的权重;Yn为静态知识库组成要素中第n个分组内各个组成要素所对应的预设分值之和;
基于引力模型研究,提出动态知识库复杂度与场景中的动态因素有关,复杂度与测试车辆和参与者的速度、两者之间的距离与夹角存在一种数学函数关系,将动态因素对测试车辆的影响作用视为知识库复杂度的场效应机制,测试车辆与参与者之间的相对速度与距离作为衡量场强度的指标,对知识库复杂度的场分布进行数学描述,将动态因素进行抽象概括,根据测试车辆属性与交通参与者属性初步形成具有场效应的复杂度引力模型结构体系,其模型的基本形式为:C1=c·K1·K2
式中,C1为动态知识库复杂度;K1为测试车辆的属性值;K2为交通参与者的属性值;c为常数;
测试车辆的属性值的计算公式为:
式中,a为常系数,为调整模型规范的一个常数;t1为测试车辆的反应时间;v1为测试车辆的行车速度;d1为测试车辆与交通参与者的距离;θ为测试车辆与其他交通参与者之间的夹角;
交通参与者属性值的计算公式为:
式中,p为常数;t2为交通参与者的被感测时间;v2为交通参与者的速度;d2为交通参与者的运动距离;
根据静态知识库复杂度和动态知识库复杂度计算得到已用知识库复杂度,即:
C=C0·C1
式中,C为已用知识库复杂度。
7.根据权利要求1所述的一种面向高度自动驾驶的人机决策逻辑在线校验方法,其特征在于:所述的第三步中的步骤四通过对人机混合决策模型及知识库进行相似性分析判断更新的必要性,通过评价更新方式分析更新的效果;
人机混合决策模型中神经网络的模型更新过程整体上分为两步,第一步前向传播预测结果,第二步根据预测结果进行反向反馈,人机混合决策模型的相似性分析通过误差偏差量e的范围进行确定,具体过程如下:
1)网络初始化:给各个连接权值以及偏置设定[‑1,1]内的随机数,然后设定损失函数e,并且设置学习率以及误差精度;
2)指定训练样本与样本输出:设置训练样本和样本输出,然后传入到神经网络中;
3)隐含层、输出层计算:计算隐含层各神经元的输入和输出,并由此的如输出层的输出结果;
4)误差偏量e的计算:根据网络模型输出层的输出结果与样本实际输出,计算误差偏量e,如果e在范围内则说明模型相似性较高,符合要求,无需进行模型更新,进入7)继续对新样本进行学习,如果不在则进行更新;
5)权值的更新:根据损失函数计算权值的梯度,根据损失函数最小化的原则进行梯度下降,依次从输出层向输入层更新神经元的连接权值;
6)偏置的更新:根据损失函数计算偏置的梯度,根据损失函数最小化的原则进行梯度下降,依次从输出层向输入层更新每一层的偏置;
7)执行下一次学习,进入2);
人机混合决策模型知识库相似性分析需分析静态知识库与动态知识库复杂度的变化情况,根据静态知识库与动态知识库中各元素的重要性权重,设定相似性阈值,当超过阈值时,则对知识库进行更新,不超过阈值说明知识库相似度较高,能够满足人机混合决策模型决策的需求,无需进行更新;
人机混合决策模型与知识库更新方式的评价要考虑更新所用时间、更新的计算量以及更新的准确性这些因素,通过量表分析的方法综合判断。
8.根据权利要求1所述的一种面向高度自动驾驶的人机决策逻辑在线校验方法,其特征在于:所述的第三步中的步骤五通过层次分析法将人机混合决策模型的不同评价指标进行重要性排序,分配重要性权重,进而根据各评价指标的评价结果,得到人机混合决策模型的综合评价结果;
将人机混合决策模型的评价指标条理化和层次化,构造出一个有序的、梯次递进的结构模型;
采用专家咨询法构造判断矩阵,请多位资深专家、具有丰富驾驶经验的驾驶员对各评价指标的重要性进行评价打分,通过1‑9标度对同一层次的两个评价指标进行重要性比较,从而构建相应的判断矩阵,得到各评价指标的重要性权重;
为保证权重指标的合理性,须根据判断矩阵求出最大特征值之后对判断矩阵进行一致性检验,一致性检验的公式为:式中,RI为层次总排序平均随机一致性指标的标准值,根据判断矩阵阶数不同取不同的值;CI为层次总排序一致性指标,CI的定义及相关计算公式为:T
ω=(ω1,ω2,...,ωn)
式中,λmax为判断矩阵最大特征值;n为判断矩阵的阶数;A为矩阵,如果CR<0.1,说明判断矩阵的一致性良好,满足一致性要求;
各评价指标重要性排序完成后,根据各指标的重要性权重与评价结果得到人机混合决策模型的综合评价结果。