1.一种基于自监督学习显著性估计像素嵌入的道路检测方法,其特征在于,包括以下步骤:
(1)构建道路检测模型,包括用于生成目标初始掩码的自监督学习显著性估计模块、进一步改善道路分割掩码的像素嵌入学习模块;
所述自监督学习显著性估计模块的构建方法如下:输入原始图像x,通过手工方法生成图像的初始显著性预测图,将初始显著性预测图二值化为伪标签;全卷积网络通过伪标签和图像级损失进行学习;
在全卷积网络的学习过程中,利用空域一致性和时域融合结果更新监督信息用于迭代训练全卷积网络,实现自监督学习,具体为:不同epoch下的显著性预测图,应用全连接的条件随机场的空域一致性更新掩码预测图;利用训练过程中每个epoch的CRF更新结果融合历史显著性预测图;将融合后的历史显著性预测图作为监督信息,微调全卷积网络;
所述像素嵌入学习模块的构建方法如下:将原始图像x作为基于编码器‑解码器结构的嵌入网络的输入,在嵌入网络的学习过程中,将原始图像x的全部像素映射到嵌入空间,通过自监督学习显著性估计模块得到的历史显著性预测图量化得到初始道路区域,将原始图像x中初始道路区域之外的像素通过k‑means聚类算法分成C类区域,每个类别区域的像素嵌入取平均值,得到该类别的平均嵌入,通过优化代价函数使得原始图像空间中外观相似的像素在嵌入空间中相互靠近,外观不相似的像素在嵌入空间中相互远离,从而使得属于同一类别像素间的嵌入空间距离小于属于不同类别像素间的嵌入空间距离;
(2)得到检测结果:利用训练集训练所述道路检测模型;测试时将待检测图像输入道路检测模型,得到图像中每个像素在嵌入空间的映射结果,映射结果与道路类别平均嵌入做差,并与门限比较,从而判断道路区域。
2.如权利要求1所述的基于自监督学习显著性估计像素嵌入的道路检测方法,其特征在于,所述自监督学习显著性估计模块中,将通过手工方法生成的初始显著性预测图的每个像素M(x;p)与固定阈值ε比较生成伪标签L(x;p),1表示前景像素,0表示背景像素,所述固定阈值ε通过网格搜索获取使得分割结果的mIoU准确率最高的数值确定。
3.如权利要求1所述的基于自监督学习显著性估计像素嵌入的道路检测方法,其特征在于,所述自监督学习显著性估计模块中,图像级损失 其中β为可控参数,当β=1时,Lβ为F1度量函数,P为准确率,R为召回率。
4.如权利要求1所述的基于自监督学习显著性估计像素嵌入的道路检测方法,其特征在于,所述全卷积网络的学习过程具体为:(1)对第k个epoch的显著性预测图 应用全连接的条件随机场得到相同分辨率的掩码预测图
(2)将第k‑1个epoch的历史显著性预测图h(x,k‑1)和第k个epoch的 进行线性融合,得到第k个epoch的历史显著性预测图h(x,k);线性融合公式如下:其中,α为当前显著性预测图与历史显著性预测图的平衡因子;
(3)当epoch数达到总迭代次数K时,得到的历史显著性预测图h(x,K)作为新的监督信息,通过监督信息微调全卷积网络;重复该过程,直到相邻循环得到的历史显著性预测图处于相对稳定状态为止。
5.如权利要求1所述的基于自监督学习显著性估计像素嵌入的道路检测方法,其特征在于,所述像素嵌入学习模块中,所述代价函数为结构感知的四元损失函数;
假设索引为i的像素pi经过嵌入网络得到像素嵌入zi=φθ(pi),θ为嵌入网络的权值;初始道路区域由自监督学习显著性估计模块输出的历史显著性预测图确定,初始道路区域之外的像素由k‑means聚类算法分为C类区域;像素pi的类别为ci∈{1,2,…,C+1},第C+1类为道路类,同一类别c的所有像素将构成掩码Mc;类别c的平均像素嵌入 其中|·|为当前类别的像素总数目;
根据显著性预测和聚类算法,将初始道路区域的像素pi作为正类记为c+,对应的平均像素嵌入为 其他类别作为负类记为c‑∈{1,2,…,C},类别c‑的平均像素嵌入为是由像素pi获得的嵌入zi与同类别的平均像素嵌入 之间的距离;
是像素嵌入zi与类别c1‑的平均像素嵌入 之间的距离; 是像素嵌入zi与类别c2‑的平均像素嵌入zc2‑之间的距离;
通过难例像素挖掘获得类别c1‑,最小化当前像素嵌入与类别c2‑的平均像素嵌入的距离、类别c1‑的平均像素嵌入与类别c2‑的平均像素嵌入之间的距离,从而获得类别c2‑,公式如下:
其中, 表示类别c1‑和c2‑之间的平均像素嵌入距离,λ为权重平衡因子;
接着,利用结构感知的四元损失函数Lquadru优化嵌入网络,如下式所示:Lquadru=max{γ+δpos‑δneg1,0}+max{δ+δpos‑δneg2,0}其中,常系数γ,δ基于实验结果进行调整。
6.如权利要求1所述的基于自监督学习显著性估计像素嵌入的道路检测方法,其特征在于,所述道路检测模型采用端到端End‑to‑End学习模式。
7.如权利要求1所述的基于自监督学习显著性估计像素嵌入的道路检测方法,其特征在于,所述道路检测模型训练阶段采用GPU进行计算。
8.如权利要求1所述的基于自监督学习显著性估计像素嵌入的道路检测方法,其特征在于,采用KITTI数据集或Tian交通数据集作为道路检测模型的训练集。