1.一种无人驾驶视觉导航中故障物快速精准识别方法,该方法融合视觉注意力的关键序列帧提取方法和基于深度学习的障碍物识别,实现障碍物的分析和识别;其特征在于该方法的步骤(1)关键帧的提取:采用深度相机获取道路上的深度图像,基于深度图像获取各物体的像素深度距离和物体索引值;针对每一帧的重点关注点,采用运动插值法重建帧与帧之间的物体运动特征,并以重建误差的大小来逐帧删除相似度较大的图像帧,实现图像帧的消减;步骤(2)尺寸不固定的障碍物识别:在完成关键帧提取之后,会出现障碍物的大小随着关键帧选取的过程,而呈现尺寸不一的现象;当障碍物在某一帧的尺寸过小,会在物体检测节点就会被剔除,因此采用深浅层特征图,处理尺寸不固定的障碍物的检测问题,然后结合注意力机制,实现障碍物的识别,提升物体识别的概率。
2.根据权利要求1所述的无人驾驶视觉导航中故障物快速精准识别方法,其特征在于所述步骤(1)中具体图像帧的计算过程如下:①假设时间序列t1和t2时刻的图像帧为f(t1)和f(t2),采用运动插值法对时间序列t1和t2时刻之间的时刻t的图像帧表示为:②假设 关键物体在第f帧中特征点i的位置信息,那么定义该特征点i在两帧之间的最大距离为:
公式2是基于特征点做i坐标向量的欧拉距离,因为特征点在不同帧的位置坐标是通过无人车的坐标以及世界坐标反推出来的,那么基于运动插值法的不同帧之间的位置误差为:
③如果相邻帧的误差小于设定的误差阈值e,那么删去后一帧图像;由于删除一帧图像后,其前后帧需要重新计算,直至相邻帧的误差大于误差阈值e,算法停止;
④无人车在道路上驾驶时,由于路面来回穿梭的车辆太多,因此仅仅用重建误差的大小来提取关键帧的方法还是存在关键帧过多的问题,因此还需要进一步优化关键帧的算法,采用视觉显著性的方法,实现运动目标位置、运动方向的视觉特征显著度评价,并计算位置优先、以运动方向为辅的视觉注意度,并以关键帧在时间序列上生成一条视觉显著度曲线,并通过选取一个时间周期内视觉显著度最高的若干图像作为关键帧。
3.根据权利要求2所述的无人驾驶视觉导航中故障物快速精准识别方法,其特征在于所述步骤(1)中④的视觉显著性的方法具体如下:首先,将深度图像转化为二维图像;
假设相机坐标(x,y)和图像坐标(u,v),图像中心点坐标(x0,y0),zc表示相机坐标Z轴值,f为相机的焦距,dx和dy分别时尺度因子;上述的参数都是已知的;
基于上述的数据,计算各个物体的在某一帧世界坐标为:那么基于某一帧的世界坐标,求出不同帧之间的位置偏移量和运动方向:假设a=(xw,yw,zw),b=(xw',yw',zw'),那么其运动方向:那么某一帧图像中的视觉显著度表示为:其中w1+w2=1,并且w1>0.5;
将视觉显著度按照时间序列上生成一条视觉显著度曲线,通过选取显著度曲线极大值附近的若干帧,完成关键帧精细化的提取。
4.根据权利要求2所述的无人驾驶视觉导航中故障物快速精准识别方法,其特征在于所述步骤(2)中深浅层特征图的步骤如下:①基于TinyYOLO 3网络获取图像的深浅层特征提取:Tiny YOLO 3作为YOLO 3模型的简化版本,并融合了特征金字塔网络(FPN)全卷积网络技术,快速将特定尺寸大小的图片输出成一个向量,采用Tiny YOLO 3对某些卷积层进行了上采样操作与特征图在通道维度上的连接,利用浅层的卷积特征优势对小尺寸的目标进行识别,使得小障碍物被识别出来;②在提取特征之后,考虑到不同关键帧的时间序列,采用注意力机制的方式,即采用改进深度卷积神经网络算法对图片中不同物体特征施加不同的权重,实现对障碍物的特征有效提取,在结合识别器对障碍物识别。
5.根据权利要求2所述的无人驾驶视觉导航中故障物快速精准识别方法,其特征在于所述步骤(2)中②的改进深度卷积神经网络算法如下:首先,将第一帧到第k关键帧的深浅层特征进行拼接放进去CNN中,对拼接后的深浅层特征进行深度学习后;得到P维的特征向量Cr;同理,将第一帧到第k帧的关键帧分别放进去LSTM中学习,得到P×m维特征向量 然后结合注意力机制,采用公式 实现时间序列和空间序列特征的融合;再次,融合后的m×p维特征向量表示为: 其中αi是基于注意力机制对每一个特征向量的权重, 是经过LSTM获得的隐含特征;最后采用SVM识别器实现障碍物识别。