欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2023118128653
申请人: 湖南大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于轻量化神经网络的飞机蒙皮表面缺陷检测方法,其特征在于,所述方法包括以下步骤:S100:对飞机蒙皮进行拍照,并对拍摄的照片进行预处理操作,使用标注软件进行标注,构建用于网络训练的数据集;

S200:构建用于飞机蒙皮缺陷检测的教师网络模型和轻量化学生网络模型;

S300:使用数据集对教师网络模型进行训练,并将训练好的教师网络模型权重文件保存;

S400:使用数据集对轻量化学生网络模型进行训练,根据教师网络模型和轻量化学生网络模型输出的多尺度特征计算不确定性预测的知识蒸馏损失,利用反向传播算法来训练轻量化学生网络模型;

S500:将训练好的用于飞机蒙皮缺陷检测的轻量化学生网络模型部署和应用到自主移动机器人上,实现飞机蒙皮的动态、实时缺陷检测;

S200中教师网络模型包括用于多尺度特征提取的深度为101层的残差网络、用于多尺度特征融合的特征金字塔模块和用于检测结果预测的检测头模块;其中,特征金字塔模块先利用卷积层构建出不同尺度大小、通道数相同的多尺度特征,再利用双线性插值实现自顶向下的特征融合,实现语义特征与像素级特征的融合,检测头模块先利用四个共享权重的卷积层对融合后的多尺度特征进行编码,再通过由卷积层组成的两条解码分支分别预测出缺陷的定位框和类别;

S200中轻量化学生网络模型包括用于多尺度特征提取的深度为18层的残差网络、用于多尺度特征融合的特征金字塔模块和用于检测结果预测的检测头模块;其中,特征金字塔模块先利用卷积层构建出不同尺度大小、通道数相同的多尺度特征,再利用双线性插值实现自顶向下的特征融合,实现语义特征与像素级特征的融合,检测头模块先利用四个共享权重的卷积层对融合后的多尺度特征进行编码,再通过由卷积层组成的两条解码分支分别预测出缺陷的定位框和类别;

S400包括:

S410:载入保存的教师网络模型权重文件到教师网络模型,使用数据集对轻量化学生网络模型进行训练;

S420:数据集中的缺陷图片分别经过教师网络模型和轻量化学生网络模型的残差网络和特征金字塔之后得到具有不同尺度大小的特征图 和 ,其中, , 表示轻量化学生网络模型的多尺度特征, 表示教师网络模型的多尺度特征;

S430:利用不确定性预测的知识蒸馏方法计算具有相同尺寸大小的特征图 和 之间的不确定性预测的知识蒸馏损失;其中,基于不确定性预测的知识蒸馏损失包括不确定性前景损失 、不确定性背景损失 、注意力损失 和全局损失 ;

S440:结合蒸馏损失和轻量化学生网络模型原本的检测损失利用反向传播算法来训练轻量化学生网络模型,利用不确定性预测的知识蒸馏方法实现教师网络模型对轻量化学生网络模型的知识传递,保存训练好的轻量化学生网络模型的权重文件,作为最终用于飞机蒙皮缺陷检测的轻量化学生网络的权重文件;

S430包括:

S431:计算具有相同尺寸大小的特征图 和 之间的空间注意力损失、通道注意力损失、特征损失和全局信息损失,根据空间注意力损失和通道注意力损失计算得到注意力损失;

S432:搭建不确定性预测网络,包括特征映射模块、MLP编码模块、特征拼接模块和不确定性预测模块;

S433:计算特征图的掩码和尺度缩放矩阵,将空间注意力损失、通道注意力损失、特征损失和全局信息损失输出至不确定性预测网络,通过特征映射模块中1x1卷积层计算不同损失的深度特征映射,再利用MLP编码模块的多层感知机技术分别对损失的特征映射进行编码得到编码特征,并通过特征拼接模块对不同损失的编码特征进行拼接,通过不确定性预测模块对损失的编码特征进行解码,进而预测出每个像素位置的不确定性因子;结合不确定因子得到不确定前景损失和不确定性背景损失;

S434:根据注意力损失、全局信息损失、不确定前景损失和不确定性背景损失计算得到不确定性预测的知识蒸馏损失;

S433具体为:

为了对特征图的前景和背景分开蒸馏,前景对应了飞机蒙皮缺陷,背景对应了非缺陷,计算特征图的掩码 ,具体计算公式如下:;

其中, 表示坐标位置,GT表示真实标注框;

为了防止计算过程中的损失值过大,通过计算 和 的乘积来减小 的数值,其中 的计算方式如下:;

;

其中, 表示尺度缩放矩阵,H和W分别表示特征图的高和宽, 表示坐标位置,GT表示真实标注框;

先利用1x1卷积层计算不同损失的深度特征映射,再利用多层感知机技术MLP分别对损失的特征映射进行编码得到编码特征E,并通过线性层对损失的编码特征进行解码,从而预测出每个像素位置的不确定性因子U,具体的计算如下:;

;

;

;

;

其中, 和 分别代表教师网络模型和轻量化学生网络模型的特征,conv1代表用于特征映射的1x1卷积层,MLP代表多层感知机,Cat表示将不同损失的编码特征进行拼接,predict是由线性层和ReLU层组成的不确定性预测网络,U表示每个像素点的不确定性;

不确定性前景损失 和不确定性背景损失 计算如下:;

;

其中,和 适用于调整前景不确定性和背景不确定损失大小的超参数, 是用于调整将轻量化学生网络模型通道数的自适应函数, 表示教师网络模型中在c通道 位置的特征值, 表示轻量化学生网络模型中在c通道 位置的特征值。

2.根据权利要求1所述的方法,其特征在于,S431中计算具有相同尺寸大小的特征图和 之间的空间注意力损失、通道注意力损失,根据空间注意力损失和通道注意力损失计算得到注意力损失,具体为:利用空间注意力 和通道注意力 对传递过程进行约束, 和的计算公式如下:

;

;

;

;

其中, 和 表示教师网络模型的空间注意力和通道注意力, 和表示轻量化学生网络模型的空间注意力和通道注意力,C代表通道总数,c代表当前通道, 表示坐标位置;

进一步通过空间 和通道注意力 计算空间注意力掩码 和通道注意力掩码 ,具体计算公式如下:

;

;

;

;

其中, 和 表示教师网络模型的空间注意力掩码和通道注意力掩码,和 表示轻量化学生网络模型的空间注意力掩码和通道注意力掩码,T是超参数用于平滑softmax函数的分布;

通过注意力损失 将空间和通道掩码背后对应的知识进行传递,具体计算公式如下:;

;

;

其中,是超参数用于调整注意力损失的大小, 和 分别代表教师网络模型和轻量化学生网络模型的空间掩码, 和 分别代表教师网络模型和轻量化学生网络模型的通道掩码,MSE代表均方差误差。

3.根据权利要求2所述的方法,其特征在于,S431中计算具有相同尺寸大小的特征图和 之间的全局信息损失,具体为:教师网络模型的全局关系采用GcBlock网络计算,计算方式如下:;

轻量化学生网络模型的全局关系采用GcBlock网络计算,计算方式如下:;

其中, , 和 分别代表了卷积层, 代表了层级归一化, 表示特征图中像素点的数量;

通过均方差进一步计算教师网络模型和轻量化学生网络模型全局损失 ,计算公式如下:;

其中,是超参数用于调整全局损失的大小,MSE代表均方差误差。

4.根据权利要求3所述的方法,其特征在于,S431中计算具有相同尺寸大小的特征图和 之间的特征损失,具体为:。

5.根据权利要求4所述的方法,其特征在于,S434具体为:;

其中, 表示不确定性预测的知识蒸馏损失。