1.城市交通场景图像理解与多视角群智优化方法,其特征在于,具体包括以下步骤:
步骤1)、基于车辆目标获取车辆三维信息,建立反映三维空间先验的车辆目标二维检测候选框;针对道路交通参与者占用的结构非完整性路面,采用深度学习的方法,对路面进行语义先验建模得到路面语义先验模型;
步骤2)、采用候选框的图像熵排序实现车辆目标的感兴趣区域提取并由回归器进行边界框的精确回归、角度的回归及分数预测,得到车辆目标检测结果;
步骤3)、采用Faster‑rcnn的深度架构对路面导向标识和交叉口交通信号灯实现检测与识别,为行驶路径模型的建立提供约束条件;
步骤4)、基于单车辆行驶路径路面语义先验模型与路面导向标识识别方法生成车辆行驶路径模型,结合车辆目标检测结果中得到的位置姿态生成单车运动矢量轨迹,将可视范围内的所有单车运动矢量轨迹融合获得场景流估计;
步骤5)、基于场景感知图得到像素分割栅格图,结合场景流估计与车辆目标检测结果构建路权占有概率模型E以得到路权概率栅格图,融合路权概率栅格图确定的可行驶区域与交通信号灯决定的可行驶概率得到单视角下场景理解;
步骤6)、构建融合俯视视角与前视视角的深度集合网络架构,从而通过多视角群智优化实现交通场景的全息理解。
2.根据权利要求1所述的城市交通场景图像理解与多视角群智优化方法,其特征在于,步骤1)中,针对车辆目标占用的结构非完整性路面,采用深度学习的方法,首先,采用FCN网络对KITTI数据中的路面信息进行特征提取,得到路面语义标签;其次,进一步采用高斯马尔科夫随机场对语义标签进行优化,得到交通场景下最优路面语义先验模型。
3.根据权利要求2所述的城市交通场景图像理解与多视角群智优化方法,其特征在于,通过路面语义先验模型和摄像机与真实世界坐标系的标定,将二维图像通过先验语义分割得到路面信息,向三维图像映射;在仅包含路面信息的三维空间设定目标锚体,依据场景目标分类,每种类别设定4种锚体模板,将三维空间的锚体进行二维图像的投影,得到二维图像上基于三维先验信息的局部检测候选框。
4.根据权利要求1所述的城市交通场景图像理解与多视角群智优化方法,其特征在于,步骤2)中,结合图像底层特征与先验信息,利用颜色对比度SC(IK)与路面语义先验概率信息W(R)获取场景图像的显著性值,再针对局部检测候选框,采用每一候选框的图像熵排序实现复杂交通场景目标的感兴趣区域提取。
5.根据权利要求4所述的城市交通场景图像理解与多视角群智优化方法,其特征在于,首先,根据输入图像的颜色统计特征,获取图像像素的颜色显著性值;其次,根据路面语义先验模型获得场景图像中各像素为路面语义的概率w及非路面语义概率1‑w,记为W(R),因此结合颜色特征与路面语义先验的像素IK的显著性值定义为S(IK)=W(R)*SC(IK),其中W(R)的选择由检测目标决定,若检测目标基于路面取w否则取1‑w;最后,针对由认知先验驱动三维与二维变换得到的基于三维先验信息的局部检测候选框,采用每一候选框的图像熵排序实现复杂交通场景目标的感兴趣区域提取,其中S(Ik)为该候选框内像素点Ik的显著性值,N为候选框内像素点总数量。
6.根据权利要求1所述的城市交通场景图像理解与多视角群智优化方法,其特征在于,步骤2)中,采用卷积神经网络进行感兴趣区域的识别,基于ImageNet与VOC数据集进行网络的预训练,再采用KITTI数据集进行参数微调;然后将感兴趣候选区送入训练好的网络进行标签预测,待确定为正样本后送入回归器,由回归器进行边界框的精确回归、角度的回归及分数预测。
7.根据权利要求1所述的城市交通场景图像理解与多视角群智优化方法,其特征在于,步骤4)中,以测试数据集KITTI为数据平台,基于复杂交通场景的应用,结合既定的拓扑结构,对道路布局设置进行先验建模;对道路布局抽象出拓扑结构模型;设定道路布局随机变量R,变量参数R包括拓扑结构、交叉路口中心、道路宽度、偏航角与街道夹角,对直道,转弯,三交叉和四交叉等交叉路口道路布局进行描述;基于KITTI数据集采用最大似然估计的方法对参数进行训练,得到各参数概率分布并建立道路布局模型;最后,在道路布局模型上采用B样条函数拟合车辆可行驶道路区域以建立车辆行驶路径先验模型。
8.根据权利要求1所述的城市交通场景图像理解与多视角群智优化方法,其特征在于,步骤5)中,针对交叉口场景,将车辆目标检测信息映射到场景流估计结果中得到场景感知图,基于场景感知图建立路权概率栅格图以实现单视角场景理解。
9.根据权利要求8所述的城市交通场景图像理解与多视角群智优化方法,其特征在于,将车辆目标检测信息映射到场景流估计结果中得到场景感知图并对其进行像素块分割生成栅格图,结合场景流估计与车辆目标检测结果视觉机制信息,构建路权占有概率模型E以得到路权概率栅格图,实现单视角下的场景理解,融合路权概率栅格图确定的可行驶区域与交通信号灯决定的可行驶概率得到运动决策。
10.根据权利要求1所述的城市交通场景图像理解与多视角群智优化方法,其特征在于,步骤6)中,把每一辆经过交叉口的车辆作为一个独立智能体,结合全景俯视视角三维交通场景目标校测与识别结果,采用深度集合网络对俯视视角与前视视角进行深度融合,再通过单一智能体发送的车辆外观基本属性与深度融合结果进行搜索匹配,得到单一智能体对交通场景全息理解地图,再通过多个智能体协同实现交通场景的全息理解。