欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2021114587124
申请人: 湖南大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种路面缺陷损伤实时监测方法,其特征在于包括如下步骤:S1. 获取道路图像数据;

S2. 对道路图像数据进行预处理,包括通过对道路图像数据结构化,加入正则化参数进行全局对比度归一化,获取路面缺陷数据集;

S3. 对收集到的路面缺陷数据集进行增强;

S4. 通过低层特征增强路径和多尺度融合预测搭建路面监测网络框架,多尺度融合包括主分支和短路径融合;并求解若干类别区域的分类损失和相对于设定区域实际的偏移量的回归损失,生成路面缺陷监测模型;

S5. 对路面缺陷监测模型进行训练,生成训练后的路面缺陷监测模型;

S6. 在车辆行驶过程中进行拍摄,采用训练后的路面缺陷监测模型实时分析路面缺陷,并推送分析结果。

2.根据权利要求1所述的路面缺陷损伤实时监测方法,其特征在于所述的步骤S3,具体为采用图像增强技术,包括输入图像的仿射变换;仿射变换包括平移、旋转、缩放、翻转或剪切;包括将路面裂缝图像进行翻转或旋转,并在模型训练过程中对数据集进行扩充。

3.根据权利要求2所述的路面缺陷损伤实时监测方法,其特征在于所述的步骤S4,包括搭建路面监测网络框架,生成路面缺陷监测模型,包括如下步骤:A1. 配置Cracknet主干网络;Cracknet网络的特征提取网络包括ResNet50‑FPN残差网络结构;

A2. 设计低层特征增强路径;包括自底层向上递归,自上向下递归,横向连接将自上向下递归和自底向上生成的相同大小的特征图进行融合,并添加底层特征增强路径;

A3. 采用多尺度融合设计区域推荐网络;

A4. 选择及设计头部网络,采用连续的卷积层和反卷积操作;

A5. 选择及设计损失函数,包括RPN损失函数和头部损失函数。

4.根据权利要求3所述的路面缺陷损伤实时监测方法,其特征在于所述的步骤A3,包括如下步骤:

C1. 在特征图的每个点上设置了若干不同的锚框;对应于不同面积与宽高比的组合;

RPN区域推荐网络通过卷积及softmax操作对预设的锚框进行分类及回归修正;

C2. 在RPN得到目标潜在推荐区之后,采用多尺度特征融合,具体包括如下步骤:D1. 对于每个候选区域,将目标映射到不同尺度的特征图层;

D2. 使用ROIAlign池化来自不同尺度特征图层的候选区域;

D3. 再次使用融合操作融合不同层次的特征;候选区域对应融合后的特征网络用于后续的进一步预测。

5.根据权利要求4所述的路面缺陷损伤实时监测方法,其特征在于所述的步骤D3,预测包括分类、包围框和mask预测。

6.根据权利要求5所述的路面缺陷损伤实时监测方法,其特征在于所述的步骤A5,总的损失函数包括RPN损失函数和头部损失函数,并进行求和求解;头部损失函数包括计算RPN损失的分类损失函数和计算RPN损失的回归损失函数;计算RPN损失的分类损失函数包括若干类别区域的损失,计算RPN损失的回归损失函数包括相对于设定区域实际的偏移量,并采用smoothL1函数求解;头部损失函数包括计算头部损失的分类损失函数、回归损失函数和语义分割的掩码损失函数,并进行求和求解。

7.根据权利要求6所述的路面缺陷损伤实时监测方法,其特征在于所述的步骤S2,包括对路面视频数据进行结构化,并对结构化之后的路面图片进行全局对比度归一化处理;全局对比度归一化处理包括:

设张量 表示图片,r表示图片像素行数,c表示图片像素列数,计算整幅图片对比度Icontrast:

其中,Xα,j,k表示第α行第j列像素的通道强度,k=1,2,3,Xα,j,1表示第α行第j列像素的红色通道强度,Xα,j,2表示第α行第j列像素的绿色通道强度,Xα,j,3表示第α行第j列像素的蓝色通道强度; 表示整幅图片的平均强度, ;

通过在分母中添加一个正则化参数λ,用于平衡预计的标准差;对于处理的图像X,重新定义全局对比度归一化方法输出的图像 :其中,s表示饱和度;Xα,j,k表示第α行第j列像素的通道强度,k=1,2,3,Xα,j,1表示第α行第j列像素的红色通道强度,Xα,j,2表示第α行第j列像素的绿色通道强度,Xα,j,3表示第α行第j列像素的蓝色通道强度; 表示整幅图片的平均强度, ;ε为设定参数,用于避免分母为0;λ为正则化参数, ;

所述的步骤S3,图像增强技术包括:将原图像f(x, y)进行水平翻转:f1(x1, y1) = g(‑x, y)其中,g(‑x, y)表示水平翻转后的图像;

将原图像f(x, y)进行垂直翻转:f2(x2, y2) = g(x,‑y)其中,g(x,‑y)表示垂直翻转后的图像;

将原图像f(x, y)按照顺时针方向旋转90度:f3(x3, y3) = g(xcos90°+ysin90°, ycos90°‑ xsin90°)其中,g(xcos90°+ysin90°, ycos90°‑ xsin90°)表示顺时针方向旋转90度后的图像;

将原图像f(x, y)按照顺时针方向旋转180度:f4(x4, y4) = g(xcos180°+ ysin180°, ycos180°‑ xsin180°)其中,g(xcos180°+ ysin180°, ycos180°‑ xsin180°)表示顺时针方向旋转180度后的图像;

将原图像f(x, y)按照顺时针方向旋转270度:f5(x5, y5) = g(xcos270°+ ysin270°, ycos270°‑ xsin270°)其中,g(xcos270°+ ysin270°, ycos270°‑ xsin270°)表示顺时针方向旋转270度后的图像。

8.根据权利要求7所述的路面缺陷损伤实时监测方法,其特征在于所述的步骤A2,包括,自低层向上:ResNet5‑FPN分为了5个阶段,其中,[C1, C2, C3, C4, C5]分别为每个阶段的输出,每个阶段均由卷积层、非线性激活函数层,以及池化层构成;卷积过程中,每个卷积核的大小均为 ,所有卷积操作的步长均为1,边界填充的大小也为1;每个池化层均采用最大池化,池化层大小均为 ,步长也为2;经过特征提取网络后,5个阶段输出的特征图大小分别为原尺寸的1/2、1/4、1/8、1/16和1/32大小的特征图,阶段1的conv1不使用;

自上向下和横向连接:ResNet50‑FPN的自上而下是从最高层的特征图C5开始进行2倍上采样,上采样使用最近邻上采样;横向连接则是将上采样的结果和自底向上生成的相同大小的特征图进行融合;具体包括对[C2, C3, C4, C5]中的每一层经过一个 卷积操作用以降低通道数,无激活函数操作,输出通道全部设置为相同的256通道,然后和上采样的特征图[M2, M3, M4, M5]进行特征融合;再采用 的卷积核进行处理得到[P2, P3, P4, P5];在得到[P2, P3, P4, P5]后,添加低层特征增强路径:B1. 每个特征图Ai先经过步长为2的卷积层,其中卷积核为 ,卷积通道为256;

B2. 特征图Pi+1的每个元素和下采样的特征图Ai通过侧向连接做相加操作;

B3. 再经过一个卷积核为 卷积通道为256的卷积层生成特征图Ai+1;

所述的步骤C1,包括在特征图的每个点上设置了9种不同的锚框;9种锚框对应于3种面积与3种宽高比的组合;RPN区域推荐网络通过卷积及softmax操作对这些预设的锚框进行初步的分类及回归,包含前景的锚框被分类为1,背景的锚框被分类为0,同时对这些锚框的位置进行回归修正,用于包含待检测物体;

所述的A4,包括经过多尺度特征融合得到的候选区域推荐将作为头部网络的输入分别进入上路类别及包围框预测的任务和下路mask的任务;主分支包括4个连续的卷积层和一个反卷积操作,其中卷积核大小均为 通道为256,conv4后面再接一个2倍上采样的反卷积deconv,用于预测每个类别mask的二进制像素值;短路径包括从主分支的conv3连接到全连接层,中间经过两个 的卷积层conv4_fc和conv5_fc;conv5_fc卷积层通道数减半用于减少计算量,最终与主分支的输出融合得到最终的掩码预测;

所述的步骤A5包括,CrackNet网络的损失函数分为RPN和头部网络两个部分,总的损失函数Lall计算方法为:

Lall = LRPN+ Lhead其中,LRPN表示RPN的损失函数,Lhead表示头部损失函数;

RPN的损失函数LRPN的计算方式包括:其中,Lcls和 表示分类损失函数;Ncls表示总候选区域推荐数量;

表示两个类别的对数损失;pi表示RPN网络候选区域推荐预测为目标的概率;在背景区域标注数据 为0;在前景区域标注数据 为1;ti表示RPN训练阶段候选区域推荐向量,ti = {tx, ty, tw, th},(x, y)表示区域中心坐标;w表示区域的宽,h表示区域的长;

表示锚框, 是与ti维度相同的向量;RPN训练阶段相对于设定区域实际的偏移量; Lreg和 表示回归损失函数;R表示smoothL1函数;Nreg为特征图的大小;i表示特征图的计数变量;

,其中, ;ti表示RPN训练阶段候选区域推荐向量,ti = {tx, ty, tw, th},(x, y)表示区域中心坐标;w表示区域的宽,h表示区域的长;

表示锚框,是与ti维度相同的向量;

RPN网络的产生的候选区域推荐只分为前景和背景,前景的标签为1,背景的标签为0;

头部损失函数Lhead的计算方式包括:Lhead= Lcls+ Lreg+ Lmask其中,Lcls表示分类损失函数;Lreg表示回归损失函数;Lmask表示语义分割的掩码损失函数;

其中, 表示头部网络候选区域推荐预测为目标的概率; 表示分类标注数据;

取0时表示背景, 取1时表示横向裂缝, 取2时表示纵向裂缝, 取3时表示块状裂缝, 取4时表示龟裂裂缝, 取5时表示坑槽;β表示候选区域的计数变量;

在头部网络中的回归损失定义为, ;tβ表示ROI预测的偏移量;

表示ROI相对于标注数据实际的偏移量;Nreg为特征图的大小;  表示分类标注数据;

其中,Lmask表示平均二值交叉熵损失;pβγ表示 维度中第β列第γ行像素点类别的预测概率; 表示 维度中第β列第γ行像素点类别的真实概率。

9.一种基于权利要求1‑8之一所述的路面缺陷损伤实时监测方法的系统,其特征在于包括数据采集模块、登录注册模块、图像预处理模块、裂缝检测模块、裂缝形态分析模块和下载模块;登录注册模块分别连接数据采集模块、图像预处理模块、裂缝检测模块、裂缝形态分析模块和下载模块;数据采集模块连接图像预处理模块,图像预处理模块连接裂缝检测模块,裂缝检测模块连接裂缝形态分析模块,裂缝形态分析模块连接下载模块;登录注册模块用于设置用户访问权限;数据采集模块用于采集道路图像数据;图像预处理模块采用步骤S2‑S3的方法对道路图像数据进行预处理;裂缝检测模块采用步骤S4‑S6的方法找出裂缝位置;裂缝形态分析模块用于分析裂缝的几何信息;下载模块用于输出裂缝信息。

10.根据权利要求9所述的系统,其特征在于所述的登录注册模块包括注册子系统和登录子系统;在注册子系统中,每位用户填写自己的用户名、手机号以及密码信息;其中用户名与密码作为登录匹配条件,手机号作为唯一性ID以及找回密码的身份依据;在登录子系统中,用户输入匹配的用户名及密码信息登录;若不匹配则无法登录,且连续输入5次以上错误密码则限制访问,以此避免撞库攻击,保证系统安全运行;

所述的裂缝检测模块,采用上述的路面缺陷损伤实时监测方法中步骤S4‑S6进行裂缝监测,用户通过上传图片来找到包含裂缝的集合,并得到分割结果;用户选择一个文件夹或单个文件进行上传,其中,上传的所有文件包括JPG、JPEG和PNG图片文件格式,同时单次上传文件大小不超过设置大小;当系统上传完所有压缩后的图片至服务端后,服务端会调用步骤S5训练好的路面缺陷监测模型对每张图片进行检测,并将检测结果返回给浏览器;当浏览器收到响应后,用户获取到含存裂缝的图片文件名列表,从而根据图片的拍摄信息找出裂缝发生位置;

所述的裂缝形态分析模块,输入裂缝检测模块得到的裂缝,并通过后台脚本对检测结果进行分析,得到裂缝的分割标记图、骨架图以及裂缝的具体几何信息,几何信息包括长、宽和类别;

所述的下载模块,下载当前的检测结果,保存用户的检测信息;下载的文件以列表的方式进行展示,包括具有裂缝的图片文件名列表、每张图片的裂缝形态分割结果和每个裂缝的几何信息。