欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2019101414242
申请人: 常熟理工学院
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-02-23
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于机器视觉的低速园区无人车巡航方法,其特征在于步骤如下:

1)建立道路语义分割模型

语义分割模型在ICNet的基础上通过制作道路本地数据集、训练道路本地数据、微调参数和网络结构,对ICNet的backbone做出调整,缩小卷积核的size;加载模型,输入待预测图像image,运行模型预测输入;

2)基于道路语义分割模型的识别结果计算车辆偏移道路中心的距离:①道路右边界识别:以ICNet的道路语义分割识别结果作为输入图像,具体为:Canny检测得到道路轮廓图像;Hough直线检测得到道路的轮廓的许多短小的直线组成直线集;过滤直线集中斜率符合要求的直线组成新的图像;

②曲线拟合及曲率计算:基于像素直方图算法识别图像中哪些像素属于道路右边界,并使用马氏距离去除异常值;利用道路右边界像素拟合二阶多项式f(x)=a0+a1x+a2x2,以图像中心为车辆位置计算车辆偏移道路中心距离;

3)计算PID车辆横向控制公式参数

PID横向控制公式:

y=y_+p*(o1-o2)+i*o1+d*(o1-2*o2+o3)o1:当前帧的车辆偏移道路中心距离,o2:上一帧的偏移距离;o3:上上一帧的偏移距离,y:当前帧的方向盘转角;y_:上一帧的方向盘转角,P、i、d:为系数。

2.一种基于机器视觉的低速园区无人车紧急制动方法,其特征在于步骤如下:

1)建立目标检测模型

加载目标检测模型,输入待预测图像image,运行模型预测图像中物体位置;

2)计算雷达点云映射到图像,雷达点云的前视图投影所需的参数,计算点云街道图像的投影矩阵需要三个参数,分别是相机内参矩阵、参考相机到相机图像平面的旋转矩阵和点云到相机的外参矩阵;见公式:x=P*Tr*X

P为3*4的投影矩阵,Tr为3*4的变换矩阵,表示雷达点云到坐标系的平移变化,X为点云数据;

使用投影公式计算点云的前视图投影;

3)计算图像中检测到的2D目标的距离数据

在每个被检测到物体框所包含的点云;中计算合适的距离作为该物体的距离,具体方法为:①将物体框所包含的点云的深度数据收集形成新的矩阵并直方化;

②在直方图中选取最长的深度数据作为该物体的距离;

4)计算行驶区域在图像中的感兴趣区域

因为紧急制动无需考虑行驶路径外的障碍物,所以感兴趣区域过滤出位于行驶区域内的物件;具体做法如下:计算物体在图像中的实际位置:yolo的检测结果为目标框的宽w、高h以及左上点的坐标(x,y),实际物体在图像中的位置应以目标框的下边中心位置为准;

设置感兴趣区域,符合下式的物体被用来判断是否需要启动AEB

5)根据感兴趣区域中的目标的距离变化率判断是否需要启动紧急制动以及是启动缓刹还是启动急刹。

3.根据权利要求2所述的基于机器视觉的低速园区无人车紧急制动方法,其特征在于步骤5)具体判定依据:若目标的距离小于设定值:急刹

若目标的距离在设定该范围内:

计算距离区间内的物体的速度,若最快速度大于预设值:急刹,否则:缓刹。

4.一种基于机器视觉的低速园区无人车巡航及紧急制动系统,其特征在于:包括行驶区域感知模块、PID规划模块、障碍物检测模块、激光点云映射至图像模块、障碍物3D检测与追踪模块、ROI与AEB模块;

通过行驶区域感知模块对道路行驶区域建立语义分割模型;PID规划模块用于车辆横向控制,以达到控制车辆按照指定的路径行驶,车辆当前位置和参考线的距离,控制车辆的速度在设定的值;障碍物检测模块进行障碍物紧急制动;激光点云映射至图像模块,将实际物体与图像的位置进行映射。

5.根据权利要求1所述的基于机器视觉的低速园区无人车巡航及紧急制动系统,其特征在于:行驶区域感知模块,语义分割模型在ICNet的基础上通过制作本地数据集、训练本地数据、微调参数和网络结构,使训练出的模型在本地环境的识别效果更加准确,只需对道路进行语义分割,对ICNet的backbone做出调整,缩小卷积核的大小,以获得更高的运行速度,降低模型的显存占用;

语义分割得出的结果先进行二值化处理得到过滤出道路的二值化图像,接着使用Canny检测出道路的轮廓,Hough检测识别出组合成轮廓的直线,通过计算直线的斜率过滤出属于车辆右边的道路轮廓;

对道路右轮廓的二值化图像进行多项和拟合操作,寻找出能拟合道路边界的曲线,从而计算出当前车辆偏移道路中心的距离。

6.根据权利要求4所述的基于机器视觉的低速园区无人车巡航及紧急制动系统,其特征在于:PID规划模块,将PID用于车辆横向控制,以达到控制车辆按照指定的路径行驶,车辆当前位置和参考线的距离,控制车辆的速度在设定的值,当前速度和设定速度的差值,求出误差以后,再根据误差求比例,积分和微分三项,其中Kp,Ki和Kd是三项的系数,它们决定着这三项对最后输出的影响的比重,将PID三项求和作为最后的输出信号。

7.根据权利要求4所述的基于机器视觉的低速园区无人车巡航及紧急制动系统,其特征在于:障碍物检测模块,采用Yolov3模型检测目标物体。

8.根据权利要求4所述的基于机器视觉的低速园区无人车巡航及紧急制动系统,其特征在于:激光点云映射至图像模块,包括内参标定步骤、外参标定步骤,具体为:内参标定步骤:

步骤1.检测每张图片中的棋盘图案的角点;

步骤2.通过使用线性最小二乘法估算相机投影矩阵P;

步骤3.根据P矩阵就解内参矩阵K和外参矩阵R,t;

步骤4.通过非线性优化,提高K,R,t矩阵的精度;

外参标定:

计算点云到图像的投影矩阵需要三个参数,分别是相机内参矩阵和参考相机0到相机xx图像平面的旋转矩阵以及点云到相机的[R T]外参矩阵。

9.根据权利要求4所述的基于机器视觉的低速园区无人车巡航及紧急制动系统,其特征在于:障碍物3D检测与追踪模块,使用标识量保证计算计算映射在物体检测模块矩形框内的点云深度信息,并赋给物体检测模块;再通过光流法追踪:光流是空间运动物体在观察成像平面上的像素运动的瞬时速度,是利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的对应关系,从而计算出相邻帧之间物体的运动信息;通过klt光流法追踪算法识别物体的ID,若当前帧的某物体符合物体检测模块历史序列中一个物体的特征则拷贝ID,若物体检测模块历史序列中某ID对应的物体多次未追踪到则丢弃该物体数据。

10.根据权利要求4所述的基于机器视觉的低速园区无人车巡航及紧急制动系统,其特征在于:ROI与AEB模块,物体在图像中的矩形框的下边中心为实际空间的位置,以该点为标准判断物体是否在感兴趣区域即ROI内;判断每一个感兴趣区域内物体的速度,据此判断是否需要刹车,属于急刹还是缓刹。