欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2023105623281
申请人: 西南交通大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-01-05
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种路面井盖智能检测方法,其特征在于,包括:

构建将路面井盖图像作为输入图像的井盖目标检测模型,井盖目标检测模型以SSD网络为基线,以对称特征金字塔网络和额外特征提取层替代SSD网络中的特征提取网络,并保留SSD网络中的卷积预测器;

获取历史路面井盖图像,并使用历史路面井盖图像构建训练数据集;

将训练数据集输入井盖目标检测模型,对井盖目标检测模型进行训练和参数优化;

利用训练好的井盖目标检测模型对实时路面井盖图像进行井盖目标分类和定位;

其中,所述对称特征金字塔网络内具有不同感受野的层级之间通过路径聚合实现特征融合,对称特征金字塔网络用于对输入图像进行特征提取,得到多个不同尺度的特征图;所述额外特征提取层对对称特征金字塔网络输出的特征图进行多级下采样后一一对应地得到多个不同尺度的特征图;所述卷积预测器用于对所有特征图中的井盖目标进行分类和定位。

2.根据权利要求1所述的一种路面井盖智能检测方法,其特征在于,所述对称特征金字塔网络的构建过程具体为:根据输入图像大小和输出的特征图尺度确定对称特征金字塔网络内各层级的规模,各层级具有不同的感受野;

在相邻两个层级之间通过路径聚合进行特征融合;

其中,通过路径聚合进行特征融合时,对相邻两个层级中进行低层特征提取的层级输出的特征图进行上采样计算,对另一个层级输出的特征图进行表征空间细节的特征选择,并将特征选择后输出的特征图与上采样计算后输出的特征图进行融合。

3.根据权利要求2所述的一种路面井盖智能检测方法,其特征在于,所述对称特征金字塔网络包括图像输入层、第一特征输出层、自上而下依次连接的第一上采样层、第二上采样层和第三上采样层、自下而上依次连接的第一下采样层、第二下采样层和第三下采样层;

图像输入层用于对输入图像进行下采样后得到第一特征图;

第一上采样层用于对第一特征图执行第一卷积操作后得到特征图F1;

第二上采样层用于对特征图F1进行最大值池化计算后的特征图执行第一卷积操作后得到特征图F2;

第三上采样层用于对特征图F2进行最大值池化计算后的特征图执行第一卷积操作后得到特征图F3;

对特征图F3进行双线性上采样计算以及将特征图F2输入第一FSM模块,并将此次双线性上采样计算后的输出与第一FSM模块的输出进行第一次Concatenate特征融合,得到特征图F4;

对特征图F4进行双线性上采样计算以及将特征图F1输入第二FSM模块,并将此次双线性上采样计算后的输出与第二FSM模块的输出进行第二次Concatenate特征融合,得到特征图F5;

对特征图F5执行第二卷积操作后得到特征图F6;

对特征图F6进行最大值池化计算以及对特征图F4执行第二卷积操作,并将此次最大值池化计算后的输出与第二卷积操作后的输出进行第三次Concatenate特征融合,得到特征图F7;

对特征图F3执行第二卷积操作以及对特征图F7进行最大值池化计算,并将此次第二卷积操作后的输出和最大值池化后的输出进行第四次Concatenate特征融合,得到特征图F8;

第一下采样层用于对特征图F8执行第一卷积操作后得到特征图F9;

对特征图F9进行双线性上采样计算以及将特征图F7输入第三FSM模块,并将此次双线性上采样计算后的输出与第三FSM模块的输出进行第五次Concatenate特征融合,得到特征图F10;

第二下采样层用于对特征图F10执行第一卷积操作后得到特征图F11;

对特征图F11进行双线性上采样计算以及将特征图F6输入第四FSM模块,并将此次双线性上采样计算后的输出与第四FSM模块的输出进行第六次Concatenate特征融合,将第六次Concatenate特征融合后的特征图输入第三下采样层,第三下采样层用于对第六次Concatenate特征融合后的特征图执行第一卷积操作后得到特征图F12;

将特征图F12、特征图F11和特征图F9分别输入第一特征输出层,第一特征输出层用于对特征图F12、特征图F11和特征图F9分别执行第三卷积操作后一一对应得到不同尺度的特征图FM1、特征图FM2和特征图FM3。

4.根据权利要求3所述的一种路面井盖智能检测方法,其特征在于,所述额外特征提取层对对称特征金字塔网络输出的特征图进行多级下采样时,相邻两级下采样之间引入残差连接。

5.根据权利要求4所述的一种路面井盖智能检测方法,其特征在于,所述额外特征提取层包括第二特征输出层、自上而下依次连接的第一卷积层、第二卷积层、第三卷积层;

第一卷积层用于对特征图F9执行第四卷积操作后的输出再次执行第三卷积操作,并将此次第三卷积操作后的输出与对特征图F9执行第四卷积操作后的输出进行第一次残差连接,第一次残差连接后得到特征图F13;

对特征图F13执行第四卷积操作,将此次第四卷积操作后的输出与对特征图F9进行第四卷积操作后的输出进行第二次残差连接,第二次残差连接后得到的特征图输入第二卷积层;

第二卷积层用于对第二次残差连接后得到的特征图进行第三卷积操作后得到特征图F14;

对特征图F14执行第五卷积操作,将第五卷积操作后的输出与第二次残差连接后得到的特征图进行第三次残差连接,第三次残差连接后得到的特征图输入第三卷积层;

第三卷积层用于对第三次残差连接后得到的特征图执行第三卷积操作后得到特征图F15;

将特征图F13、特征图F14和特征图F15分别输入第二特征输出层,第二特征输出层用于对特征图F13、特征图F14和特征图F15分别执行第三卷积操作后一一对应得到不同尺度的特征图FM4、特征图FM5和特征图FM6。

6.根据权利要求5所述的一种路面井盖智能检测方法,其特征在于,所述输入图像的尺寸为320×320×3,所述第一卷积操作为两次步长为1的3×3卷积,所述第二卷积操作为一次步长为1的1×1卷积,所述第三卷积操作为一次步长为1的3×3卷积,所述第四卷积操作为一次步长为2的3×3卷积,所述第五卷积操作为无padding的一次步长为1的3×3卷积,所述双线性上采样计算的步长为2,所有最大值池化计算的池化核均为2,所述特征图FM1的尺度为40×40×1024,特征图FM2的尺度为20×20×512,特征图FM3的尺度为10×10×512,特征图FM4的尺度为5×5×256,特征图FM5的尺度为3×3×256,特征图FM6的尺度为1×1×

256。

7.根据权利要求2所述的一种路面井盖智能检测方法,其特征在于,所述对另一个层级输出的特征图进行表征空间细节的特征选择,具体为:将另一个层级输出的特征图定义为原始特征图,通过最大值池化方式聚合原始特征图的空间信息,聚合空间信息后生成第二特征图;

通过平均值池化方式聚合原始特征图的空间信息,聚合空间信息后生成第三特征图;

将第二特征图和第三特征图分别馈送至共享的多层感知器中,第二特征图经多层感知器后的输出和第三特征图经多层感知器后的输出进行矩阵元素逐个相加,而后进行激活输出,得到重要性向量;

使用重要性向量缩放原始特征图;

采用跳过连接将缩放后得到的特征图添加到原始特征图,得到第四特征图;

对第四特征图执行一次步长为1的1×1卷积和BN归一化计算后得到第五特征图。

8.根据权利要求1所述的一种路面井盖智能检测方法,其特征在于,所述路面井盖图像通过安装在车尾左右两端的车载3D相机采集得到;所述路面井盖图像在作为井盖目标检测模型的输入图像前,还进行了预处理,预处理过程具体为:对安装在车尾左端的车载3D相机采集到的左侧路面井盖图像和安装在车尾右端的车载3D相机采集到的右侧路面井盖图像进行左右拼接处理,形成路面井盖图像;

对路面井盖图像进行尺寸缩减处理。

9.根据权利要求1所述的一种路面井盖智能检测方法,其特征在于,对所有特征图中的井盖目标进行分类时的分类类别包括健康状态井盖、井盖塌陷、井盖缺少和背景。

10.一种路面井盖智能检测系统,其特征在于,包括存储器和处理器,所述存储器与所述处理器通信连接,处理器还用于与外部的图像采集装置通信连接,存储器内保存有权利要求1‑9项任一项所述的一种路面井盖智能检测方法,处理器用于调用存储器内保存的所述方法对图像采集装置采集到的实时路面井盖图像进行井盖目标分类和定位。