1.一种机动车行驶前方物体视频测距及方向定位方法,其特征在于,该方法包括以下步骤:步骤一、安装在机动车顶部的相机拍摄两幅鱼眼图像,并将两幅鱼眼图像传输给安装在机动车驾驶室内的计算机;
步骤二、所述计算机分别对两幅鱼眼图像进行误差矫正,得到误差矫正后的两幅半球鱼眼图像;
步骤三、所述计算机将误差矫正后的两幅半球鱼眼图像中显示机动车左侧图像的一幅顺时针方向旋转90°,显示机动车右侧图像的一幅逆时针方向旋转90°;然后再将两幅图像合成为一幅球面图像;
步骤四、所述计算机查询其预先建立的球面图像上点的经纬度信息与全景图像像素点坐标的对应关系表,将球面图像上的点投影到全景图像上,得到全景图像;
步骤五、所述计算机调用二次线性插值图像处理模块对全景图像进行平滑处理;
步骤六、所述计算机将经过步骤五平滑处理后的全景图像输入预先训练好的faster-RCNN网络模型中,得到faster-RCNN网络模型的输出,faster-RCNN网络模型的输出中提取出了机动车周围的车辆、人和图标信息;
步骤七、所述计算机根据图像块像素大小计算机动车与其周围的车辆的距离和机动车与其周围人的距离;
步骤八、所述计算机查询其预先建立的球面图像上点的经纬度信息与全景图像像素点坐标的对应关系表,将全景图像上的点投影到球面图像上,得到球面图像上检测的车辆或人的方向。
2.按照权利要求1所述的机动车行驶前方物体视频测距及方向定位方法,其特征在于:步骤四和步骤八中所述计算机建立球面图像上点的经纬度信息与全景图像像素点坐标的对应关系表的过程为:步骤A、设定将球面图像映射到三维柱面模型上的仰角β;
步骤B、以球面图像的半径rsphere为基准,得到全景图像的长度wimg=2πrsphere,全景图像的宽度himg=rspheretanβ, rfish为半球鱼眼图像的半径;
步骤C、根据公式 以全景图像上点的坐标(xcyl,ycyl)为基准,获
取三维柱面上点的坐标(x,y,z),建立三维柱面与全景图像像素点坐标的对应关系表;
步骤D、根据公式 将三维柱面上的点投影到单位球上,得到单位
球上点的坐标(xunit,yunit,zunit),建立单位球与三维柱面图像像素点坐标的对应关系表;
步骤E、根据公式 以单位球上点的坐标(xunit,yunit,zunit)为基准,获取球面图像上点的经纬度信息 并建立球面图像上点的经纬度信息与单位球图像像
素点坐标的对应关系表;
步骤F、先根据步骤D中建立的单位球与三维柱面图像像素点坐标的对应关系表和步骤E中建立的球面图像上点的经纬度信息与单位球图像像素点坐标的对应关系表,建立球面图像上点的经纬度信息与三维柱面图像像素点坐标的对应关系表,再结合步骤C中建立的三维柱面与全景图像像素点坐标的对应关系表,建立球面图像上点的经纬度信息与全景图像像素点坐标的对应关系表。
3.按照权利要求2所述的机动车行驶前方物体视频测距及方向定位方法,其特征在于:步骤A中所述β的取值范围为0°~90°。
4.按照权利要求1所述的机动车行驶前方物体视频测距及方向定位方法,其特征在于:步骤六中所述计算机预先训练faster-RCNN网络模型的具体过程为:
步骤601、构建RPN卷积神经网络和fast-RCNN卷积神经网络,所述RPN卷积神经网络由八个卷积层和一个Softmax层构成,所述fast-RCNN卷积神经网络由五个卷积层、一个ROIpooling层、四个全连接层和一个Softmax层构成;
步骤602、对RPN卷积神经网络进行初始化,用不同的小随机数初始化网络中待训练参数;
步骤603、将车辆图像、人图像和图标图像分别作为输入的训练样本图像,对输入的训练样本图像赋予多个尺度和多个比例的基准框,通过向初始化后的RPN卷积神经网络中输入训练样本图像的基准框来训练RPN,使用反向传播BP算法,调整RPN卷积神经网络参数,使损失函数值最小;
步骤604、在训练样本图像上运用训练好的RPN卷积神经网络模型,得到训练样本集的车辆、人和图标粗选框;
步骤605、对fast-RCNN卷积神经网络进行初始化,用不同的小随机数初始化网络中待训练参数;
步骤606、输入训练样本图像和步骤604中获得的训练样本集的车辆、人和图标粗选框,对输入的训练样本图像每一点都赋予多个尺度和多个比例的基准框,通过向初始化后的fast-RCNN卷积神经网络中输入训练样本图像的基准框,并结合样本集的标注和标签来训练fast-RCNN,使用反向传播BP算法,调整RPN卷积神经网络参数,使损失函数值最小,得到训练好的fast-RCNN卷积神经网络;
步骤607、重新训练RPN卷积神经网络,将RPN卷积神经网络的前五层卷积层学习率设为
0,参数finetune来自步骤606的fast-RCNN卷积神经网络模型,训练得到新的RPN卷积神经网络模型;
步骤608、在训练样本图像上运用新训练好的RPN卷积神经网络模型,重新得到训练样本集的车辆、人和图标粗选框;
步骤609、重新训练fast-RCNN卷积神经网络,将fast-RCNN卷积神经网络的前五层卷积层学习率设为0,参数finetune来自步骤608中的RPN卷积神经网络模型,使用训练样本集和步骤608中的训练样本集的车辆、人和图标粗选框标注,重新训练得到新的fast-RCNN卷积神经网络模型。
5.按照权利要求1所述的机动车行驶前方物体视频测距及方向定位方法,其特征在于:步骤七中所述计算机根据图像块像素大小计算机动车与其周围的车辆的距离和机动车与其周围人的距离的具体方法为:步骤701、将相机安装点定义为A点,将A点垂直于地平面的点定义为O点,将相机视点与地平面相交的点定义为B点,将直线AB与图像平面的交点定义为B′点,将B′点在直线AO上的投影点定义为F点,将∠0AB定义为θ角;当相机安装好后,直线AO的长度、直线FB′的长度和θ角为已知量;
步骤702、分检测到的机动车周围车辆或人在机动车的正前方和检测到的机动车周围车辆或人偏离正中位置的角度为α两种情况,计算机动车与其周围的车辆的距离和机动车与其周围人的距离,具体方法为:当检测到的机动车周围车辆或人在机动车的正前方时,首先,将检测到机动车周围车辆或人与地面的交点定义为C点或D点,将直线AC与图像平面的交点定义为C′点,将直线AD与图像平面的交点定义为C″点,将C′点在直线AO上的投影点定义为E点,将C″点在直线AO上的投影点定义为G点;此时,FB′=EC′=GC″,B′、C′、C″在图像平面上共线;接着,根据公式OB=AO·tanθ计算得到直线OB的长度,并根据公式 计算得到直线AF的长度;然后,根据公式 计算得到直线OC的长度,并根据公式
计算得到直线OD的长度;最后,将直线OC的长度存储为当检测
到的机动车周围车辆或人与地面的交点为C点时机动车与其周围的车辆或人的距离,并将直线OD的长度存储为当检测到的机动车周围车辆或人与地面的交点为D点时机动车与其周围的车辆或人的距离;
当检测到的机动车周围车辆或人偏离正中位置的角度为α时,首先,将检测到机动车周围车辆或人与地面的交点定义为H点,将直线OH与图像平面的交点定义为H′点,将直线B′H′与直线OC的交点定义为H″点,将H点在直线OC上的投影点定义为I点,将直线AI与图像平面的交点定义为I′点,将I′点在直线AO上的投影点定义为I″点;此时,OH″=FB′;然后,根据公式 计算得到角度α的大小,并根据公式计算得到直线OI的长度;最后,根据公式OH=OI/cosα计算得到直线OH的长度,并将直线OH的长度存储为当检测到的机动车周围车辆或人与地面的交点为H点时机动车与其周围的车辆或人的距离。