欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2022105612013
申请人: 吉林大学
专利类型:发明专利
专利状态:已下证
专利领域: 一般车辆
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种面向高度自动驾驶的人机融合感知方法,其特征在于:其方法包括的步骤如下:

第一步、数据预处理,具体步骤如下:

步骤一、进行数据采集:采集智能车辆上所搭载的车载CAN总线、各相机传感器信号、各激光雷达毫米波雷达信号、车路协同设备信号,按照固定采样周期采集以下传感器数据:车载CAN总线上产生的以时间序列表示的车辆操纵与运动状态数据,具体包括离合刹车油门踏板操纵信号、变速器操纵信号、方向盘操纵信号;各相机传感器上产生的一定帧率的彩色图像流,相机传感器主要有分布在驾驶员前方识别驾驶员状态的相机传感器和分布在车辆四周用于识别周围交通环境的相机传感器,分别输出带有驾驶员状态信息的彩色图像流和带有周围交通环境信息的彩色图像流;各激光雷达毫米波雷达传感器上产生一定帧率的周围物体运动状态列表,毫米波雷达主要分布在车辆四周,输出带有周围交通环境信息的周围物体运动状态列表;车路协同设备传递来的实时交通状态信号列表;

步骤二、对数据进行校验和对齐:具体环节如下:

环节一、传感器数据有效性验证:分别读取车载总线信号、车辆状态测量信号和多模态环境传感信号的数值并评估它们是否是在传感器正常工作时采集生成,用一个整数标记体现,正值表示传感器工作正常,负值表示异常;若判断出输入信号异常,则在第一步的输出信号车载总线对齐信号、车辆状态测量对齐信号和多模态环境传感对齐信号中将整数标记设置为负数;

环节二、时间对齐:时间对齐指根据传感器物理硬件信息,是指相机传感器和毫米波雷达传感器的帧率和启动时间,将不同传感器在不同时间坐标系下采集到的数据统一到同一个时间坐标系下,这样使得不同传感器的数据之间相互联系,有利于后续的数据分析工作;

时间对齐的策略包括但不限于:设置公共数据缓存区存储不同传感器数据;根据帧率和启动时间的信息计算绝对时间;或智能车辆系统内部设置系统相对时间,从而对所有传感器数据设置全局时间戳;

环节三、空间对齐:传感器空间对齐指根据传感器安放位置信息,将不同传感器在各自坐标系下采集到的数据统一到同一坐标系,即车辆坐标系下,这样使得不同传感器的数据之间相互联系,有利于后续的数据分析工作;

环节四、整合对齐后的数据:经过时间对齐和空间对齐后的传感器数据实际是带有周围物体运动状况的交通环境图像流和一个统一时空坐标系后的驾驶员状态彩色图像流,这两部分分别整合为统一格式的结构体发送给第二步和第三步作为其数据输入;

第二步、驾驶情境感知,具体步骤如下:

步骤一、头动信号识别:头动信号识别主要识别驾驶员头部姿势的三个姿态角以及眼睛的空间位置,头动识别方法采用卷积神经网络,卷积神经网络的具体结构如下:将输入图像裁剪为256*256*3的图像,依次经过第一卷积层、、第一池化层、第二卷积层和第二池化层处理后得到16*16*128的特征层,再经过一个由128个神经元组成的神经层,经softmax算法归一化处理后即可得到脸部各特征点的坐标位置,第一卷积层的卷积核大小为3*3*3,第一卷积层的卷积步长为2;第一池化层采用最大池化的方法,第一池化层大小为3*3,第一池化层的步长为2;第二卷积层的卷积核大小为3*3*32,第二卷积层的步长为2;第二池化层采用最大池化的方法,第二池化层的大小为2*2,第二池化层的步长为2;前述特征点包括眉毛、眼角、角膜、瞳孔、鼻尖、鼻孔、嘴巴、下巴和耳朵,根据特征点的位置,运用主动外观模型的方法即可得到驾驶员头部姿态的估计,从而得到驾驶员的头动信号,此信号将作为第四步驾驶员驾驶意图理解的部分输入;

步骤二、眼动信号识别:眼动信号识别主要识别眼动矢量生物信号,通过识别驾驶员眼动矢量对驾驶员的注视行为进行建模,从而得到驾驶员的注视方向,眼动信号识别与步骤一类似,主要使用了卷积神经网络输出的角膜和瞳孔特征点,通过双目摄像头采集的同一时刻下同一特征点的位置进行空间建模,得到三维眼球模型,从而计算出眼睛在空间中的位置和眼动矢量,计算出的眼动信号作为输入传递给第四步和驾驶员驾驶意图理解和第五步人机混合增强感知图谱生成;

第三步、驾驶员典型生物信号提取,具体步骤如下:

步骤一、驾驶环境感知:利用第一步预处理后的各传感器传递来的车辆周围交通环境信息,提取出必要的交通参与物组成典型的交通工况,建立的交通环境中包括周围短时间内可能与主车产生交互的所有交通参与物的相关信息,包括的类别、相对距离和相对速度;驾驶环境感知还需要对车道线和交通标志道路信息进行识别,识别方法包括但不限于:基于计算机视觉的图像识别算法拟合车道线、识别交通标志和交通灯信号;基于车路协同的智能交通系统车基—路基设备通讯传输车道、交通标志和交通灯信息;或基于云端高精地图信息的交通道路信息读取;为了实现交通参与物的提取采用以下方案进行运算:方案一、安全时间算法:该算法是一种基于跟随车与前车碰撞时间的一种前向碰撞预警算法,碰撞时间计算公式如下:TTC=D/(V

式中,D表示跟随车与前车之间的距离;V

而对于不同车道线上的交通参与物,碰撞时间计算公式则变化为:

TTC=D/v

式中,D为两车预计碰撞位置与本车位置的距离;v为本车速度;

设置TTC阈值能够提取出周围环境中需要考虑的交通参与物;

方案二、安全距离算法:在实际交通环境中,存在一些交通参与物不会和本车产生安全风险,但却能够对主车的驾驶产生影响,对于这部分交通物体与主车之间的空间绝对距离有一定的关系,定义安全距离DS,具体公式如下:DS=vm*2

式中,vm=max{v

当DS小于主车与物体间实际距离时则表明该物体在安全距离范围内,会对主车驾驶产生影响,应纳入交通环境建模范围内;

步骤二、驾驶情景理解:驾驶情景定义为当前时刻下,驾驶员获取驾驶相关信息的外部环境,对驾驶情景的理解主要指对基于步骤一所搭建的驾驶环境对当前驾驶工况的提取,典型的驾驶情景包括但不限于:通畅的城市道路、拥堵的城市道路、十字路口、场地园区、高速公路和高架桥,提取方法使用特征对比,根据道路上交通参与物的密度、速度、道路的形状和交通灯的位置关键参数的值划分出不同的驾驶情景;

步骤三、驾驶情境推理:驾驶情境指一段时间内,能够对驾驶员及自动驾驶系统产生影响的驾驶环境状态及发展趋势,驾驶情境推理的目的是对当前驾驶环境状态进行综合考量,在综合考虑驾驶员状态后给出最合适的感知图谱,以达到融合增强感知的效果,驾驶情境推理模型的输入为步骤二所生成的驾驶情景历史数据,驾驶情境推理方法为深度学习的Sentiment Analysis方法,对驾驶情境进行量化表示,表示方法为SA=[sa第四步、驾驶员驾驶意图理解,具体步骤如下:

步骤一、车辆横向驾驶意图理解:通过驾驶员的头动信号、眼动信号、驾驶环境和车载CAN总线传输来的驾驶操作信号,对驾驶员的横向驾驶意图进行推测,驾驶员横向驾驶意图包括但不限于转向、换道和切入;车辆横向驾驶意图理解使用隐马尔可夫模型进行建立,隐马尔可夫模型解决理解驾驶员横向驾驶意图问题分为如下三个环节:环节一、模型数据定义和采集:驾驶员横向驾驶意图理解问题对应隐马尔可夫模型的评价问题,即对概率值的估值问题,该问题的核心是求得某一交通情境和驾驶员状态下,驾驶员横向驾驶意图为某一值的概率为多少;

将驾驶员的横向驾驶意图表示为Q,定义如下:

Q=-3,-2,-1,0,1,2分别表示驾驶员当前时刻横向驾驶意图为掉头、向左转向、向左变道、保持直行、向右变道和向右转向;

将驾驶员的头动信号、眼动信号、驾驶环境和车载CAN总线传输来的驾驶操作信号作为观测变量输入,经过时间离散化后得到观测变量序列O隐马尔可夫模型参数定义为λ=(π,A,B),其中π表示系统的初始状态概率,A表示状态转移矩阵,B表示发射矩阵,初始状态概率π:模型在初始时刻各状态出现的概率,记为π=(π根据上述定义的参数,进行实验采集足够大的数据集,再根据K-means聚类算法对数据集进行初始化和分组,得到模型的初始参数λ环节二、模型训练:模型训练指根据得到的数据集,根据隐马尔可夫模型的原理进行深度学习重复训练,提高模型的精确度使之能够正常的进行驾驶员横向驾驶意图理解;

模型训练的主要内容为:利用前向-后向算法计算对于采集的数据集中当前训练所使用的的观测变量数据O

环节三、驾驶员横向驾驶意图理解:隐马尔可夫模型经过训练后用于驾驶员横向驾驶意图理解,理解过程即为隐马尔可夫模型的解码问题求解过程,解码过程使用viterbi算法,将一段时间内驾驶员的头动信号、眼动信号、驾驶环境和车载CAN总线传输来的驾驶操作信号离散化后得到观察变量序列O步骤二、车辆纵向驾驶意图理解:通过驾驶员的头动信号、眼动信号、驾驶环境和车载CAN总线传输来的驾驶操作信号,对驾驶员的纵向驾驶意图进行推测,驾驶员纵向驾驶意图包括但不限于跟车、加速、制动、停车和保持;

步骤三、其他驾驶员驾驶意图理解:通过驾驶员的头动信号、眼动信号、驾驶环境和车载CAN总线传输来的驾驶操作信号,对驾驶员的其他驾驶意图进行推测,驾驶员其他驾驶意图包括但不限于犹豫和超车;

上述的步骤一、步骤二、步骤三为驾驶员不同方面的驾驶意图理解,相互解耦互不干涉,在推理时并行判断,步骤一、步骤二、步骤三的判断具有相似性,步骤二和步骤三与步骤一的方法类似;

第五步、人机混合增强感知图谱生成,具体步骤如下:

步骤一、驾驶员感知目标建模:在绝大多数情况下,驾驶员能够正确的掌控驾驶,因此,机器和驾驶员进行融合感知的第一步应该是了解驾驶员的感知目标;驾驶员感知目标建模包括以下环节:环节一、驾驶员注视方向建模:根据检测到的驾驶员头动信号和眼动信号对驾驶员当前的注视方向矢量进行建模,注视方向矢量包括驾驶员双眼中心在车辆坐标系下的位置(xe,ye,ze)和注视方向在车辆坐标系下的单位向量(xd,yd,zd);

环节二、驾驶员感兴趣区域ROI判断:当驾驶员注视方向在某一段时间内保持在了相同或相近的一段区域,则可认为该区域为驾驶员感兴趣区域,驾驶员感兴趣区域中的物体则为驾驶员感知目标;

环节三、驾驶员感知目标建模:驾驶员感知目标确认后需要在步骤四的人机混合增强感知图谱中展示出,因此,需要建立结构体序列来存储感知图谱输出目标信息,在人机混合增强感知图谱中,对物体的ID、相对位置、相对速度和TTC进行记录,在步骤四人机混合增强感知图谱中输出;

相对位置指物体相对于车辆边缘的最短距离,而不是物体在车辆坐标系中的位置,以适应驾驶员的感知习惯,相对速度在表示时取和速度,速度值的正负规定为:相对速度矢量与主车速度矢量的夹角为锐角时取正,夹角为钝角时取负;

根据先前计算得到的驾驶情境分析驾驶员的关注目标,并设置标志位对严重影响当前驾驶情境的目标进行标记,标志位为0表示影响一般;标志位为1表示影响较大,需要特别提醒;标志位为2表示影响非常大,情况紧急,这也标志着当前时刻下判断驾驶情境为危险;

步骤二、驾驶员感知盲区建模:驾驶员的感知是受限的,车辆驾驶过程中存在许多驾驶员无法感知到的盲区,这些盲区的信息在很多时候会成为避免事故发生的关键;驾驶员感知盲区主要包括:前盲区:指引擎盖前方的部分区域,由车身的高度和车头的长度因素造成;

后盲区:指车辆后方的后视镜和反光镜都不能看到的区域,在建模时近似地认为车辆后方所有区域由于无法得到足够的观察而全部作为盲区处理;

后视镜盲区:指车辆两侧由于后视镜视场有限而为包含的区域,AB柱盲区,位于挡风玻璃两侧由于AB柱遮挡而无法观察到的区域;

上述盲区区域范围内若存在物体,作为关键信息告知驾驶员,在建模时,基于光沿直线传播原理建立盲区所覆盖区域的空间位置模型;

步骤三、机器感知图谱建模:机器感知图谱主要包括驾驶员无法主动感知到的需要机器协助感知的部分,主要包括盲区感知图谱建模、驾驶员疏忽性感知图谱建模和基于驾驶员驾驶意图的需求性感知图谱;盲区感知图谱建模指通过对比周围驾驶环境中物体的空间位置和盲区空间位置筛选出所有处于盲区的物体,记录下物体的ID、相对位置、相对速度和TTC信息,并计算该物体对当前驾驶情境的影响严重程度标志,之后发送给步骤四的人机混合增强感知图谱,驾驶员疏忽性感知图谱指周围驾驶环境中未处在盲区,也没有处于驾驶员感兴趣区域中,但应当被驾驶员注意的物体,这类物体的筛选通过计算该物体对当前驾驶情境的影响严重程度标志完成,在计算后对标志大于0的物体的ID、相对位置、相对速度、TTC和严重程度标志进行记录,与之前相似的,发送给步骤四的人机混合增强感知图谱;基于驾驶员驾驶意图的需求性感知图谱是指驾驶员完成一项驾驶操纵行为时,往往需要对多个目标进行感知,驾驶员变道时需要观察侧前方车辆的同时也需要观察侧后方车辆,除了步骤一中所述的感兴趣区域外,还需要根据驾驶员的驾驶意图对特定位置的物体进行感知,此环节的输入为第四步中所得到的3种驾驶员驾驶意图,采用高维空间搜索算法得到上述的特定位置物体的感知结果,作为输出通过HMI呈现给驾驶员;

步骤四、人机混合增强感知图谱建模:人机混合增强感知图谱作为整个系统的输出,提供给驾驶员和智能驾驶系统双方感知结果输出,给驾驶员提供的感知图谱主要包括第五步中中步骤一、步骤二和步骤三所感知到的需要展示给驾驶员的所有物体的量化数据信息、前方的交通信号灯信息和当前行驶道路的交通标志信息,给智能驾驶系统提供的感知图谱包括,周围驾驶环境中所有物体的全部信息、驾驶情境信息、驾驶员驾驶意图信息,人机混合增强感知图谱向驾驶员的输出环节如下:环节一、感知图谱对驾驶员输出:通过HUD抬头显示技术直接在前挡风玻璃上投射,在驾驶员感知目标方向上显示驾驶员感知目标的ID、相对位置、相对速度和TTC信息;对于第五步步骤三中所识别出的驾驶员疏忽性感知图谱中的物体作相同处理;若第五步步骤三中所识别出的盲区感知图谱中的物体存在,则在前挡风玻璃下部以警告的形式提示,警告内容除了常规的ID、相对速度、TTC信息以外,还需要包括所处的盲区位置,以取代相对与主车的位置,这样更加直观,能够更有效的减轻驾驶员感知负担,达到良好的人机增强感知效果;

对于上述图谱显示,根据感知图谱中物体对当前驾驶情境的影响严重程度标志位置进行不同颜色的显示,对于严重程度标志位为0的物体,显示使用绿色,对于严重程度标志位为1的物体,显示使用橙色,对于严重程度标志位为2的物体,显示使用红色;

在显示时,如果存在两个或多个物体的显示重叠,则根据物体对当前驾驶情境的影响严重程度标志位进行判断,优先显示严重程度标志位值大的;如果存在两个或多个物体的显示重叠且严重程度标志位值相同,则根据相对距离进行排序,优先显示相对距离近的;

另外,交通灯信号、交通标志信号在前挡风玻璃的顶部显示,当驾驶员做出了违反交通规则的操作时,顶部显示高亮闪烁显示以警告驾驶员;

环节二、感知图谱对人机共驾智能驾驶系统输出:人机混合增强感知图谱作为人机共驾技术的感知层,需要输出驾驶员的相关信息,包括驾驶员驾驶意图,周围驾驶环境中的物体全部信息、驾驶情境信息则作为后续规划与决策、控制的计算输入输出。