欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2021110670762
申请人: 天津科技大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-05
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于多尺度融合的单阶段目标检测神经网络,其特征在于,该网络是由图像预处理层、特征提取网络层、连接层、多尺度融合层和预测网络层共同构成;所述的图像预处理层含有一个输入和一个输出,输出连接着所述的特征提取网络层的输入;所述的特征提取网络层含有一个输入和三个输出,所述的三个输出中的两个为中间输出,另一个输出连接着所述的多尺度融合层的输入;所述的连接层含有一个输入和一个输出,输出连接着所述的多尺度融合层的输入;所述的多尺度融合层含有一个输入和一个输出,其根据所获得的输入进行计算并依据计算结果对其内的融合器构建参数进行优化;所述的预测网络层含有三个输入和一个输出,所述的三个输入中的一个输入连接着所述的多尺度融合层的输出,另外的两个输入连接着所述的特征提取网络层的两个中间输出;所述特征提取网络层和多尺度融合网络层通过连接层传输数据,所述的连接层用于对所述特征提取网络层输出的图像再次进行卷积;

所述的图像预处理层由数据增强层、卷积层A-1、实例归一化层-1、Leaky relu激活函数层、卷积层A-2、实例归一化层-2和Leaky relu激活函数层依次串联构成,用于图像数据的数据增强;

所述的特征提取网络层由特征提取器AA1、最大池化层M1、特征提取器AA2、最大池化层M2、特征提取器AA3和最大池化层M3依次串联构成,用于提取图像特征;所述的特征提取器AA2和特征提取器AA3分别含有一个中间输出,构成了所述的特征提取网络层的两个中间输出;所述的特征提取器AA1由卷积层A1、实例归一化层1、Leaky relu激活函数层、运算层1、卷积层A2、实例归一化层2、Leaky relu激活函数层、卷积层A3、实例归一化层3、Leaky relu激活函数层、运算层2、卷积层A4、实例归一化层4、Leaky relu激活函数层、运算层3依次串联构成;所述的特征提取器AA2由卷积层A5、实例归一化层5、Leakyrelu激活函数层、运算层4、卷积层A6、实例归一化层6、Leaky relu激活函数层、卷积层A7、实例归一化层7、Leakyrelu激活函数层、运算层5、卷积层A8、实例归一化层8、Leakyrelu激活函数层、运算层6依次串联构成;所述的特征提取器AA2的卷积层A8的输出经实例归一化层8和Leaky relu激活函数后的输出即为所述的特征提取器AA2的中间输出,其连接着所述的预测网络层的预测器3内的运算层15的一个输入;所述的特征提取器AA3由卷积层A9、实例归一化层9、Leaky relu激活函数层、运算层7、卷积层A10、实例归一化层10、Leaky relu激活函数层、卷积层A11、实例归一化层11、Leaky relu激活函数层、运算层8、卷积层A12、实例归一化层12、Leaky relu激活函数层、运算层9依次串联构成;所述的特征提取器AA3的卷积层A12的输出经实例归一化层12和Leaky relu激活函数层后的输出即为所述的特征提取器AA3的中间输出,其连接着所述的预测网络层的预测器2内的运算层13的一个输入;所述的实例归一化层-1、实例归一化层-2、实例归一化层1、实例归一化层2、实例归一化层3、实例归一化层4、实例归一化层5、实例归一化层6、实例归一化层7、实例归一化层8、实例归一化层9、实例归一化层10、实例归一化层11和实例归一化层12具有完全相同的结构和功能;所述的Leaky relu激活函数层的构建,采用了带泄露的修正线性单元函数进行激活处理;所述的运算层1实现的是将卷积层A1的特征图平均分为两组并取第一组特征作为卷积层A2的输入,分组运算采用的是route算法;所述的运算层2实现的是所述的卷积层A2的输出和所述的卷积层A3的输出之间的求和运算,所述的求和运算采用了add算法;所述的运算层3实现的是所述的卷积层A1的输出和所述的卷积层A4的输出之间的求和运算,所述的求和运算采用了add算法;所述的运算层4实现的是将卷积层A5的特征图平均分为两组并取第一组特征作为卷积层A6的输入,分组运算采用的是route算法;所述的运算层5实现的是所述的卷积层A6的输出和所述的卷积层A7的输出之间的求和运算,所述的求和运算采用了add算法;所述的运算层6实现的是所述的卷积层A5的输出和所述的卷积层A8的输出之间的求和运算,所述的求和运算采用了add算法;所述的运算层7实现的是将卷积层A9的特征图平均分为两组并取第一组特征作为卷积层A10的输入,分组运算采用的是route算法;所述的运算层8实现的是所述的卷积层A10的输出和所述的卷积层A11的输出之间的求和运算,所述的求和运算采用了add算法;所述的运算层9实现的是所述的卷积层A9的输出和所述的卷积层A12的输出之间的求和运算,所述的求和运算采用了add算法;

所述的连接层由卷积层A13、实力归一化层13和Leaky relu激活函数层依次连接组成;

所述多尺度融合层由最大池化层M4、运算层10、最大池化层M5和运算层11构成;所述的运算层10实现的是将所述多尺度融合层的输入跨层连接,作为最大池化层M5的输入;所述的运算层11实现的是所述多尺度融合层的输入、所述的最大池化层M4、M5的输出的求和运算,求和运算采用了add算法;所述的最大池化层M4的输入为所述多尺度融合层的输入,最大池化层M4和最大池化层M5具有完全相同的结构和功能;

所述的预测网络层含有三个预测器:预测器1、预测器2、预测器3,用于对所述多尺度融合网络器输出的融合特征进行不同采样率的特征图的处理;所述的预测器1由卷积层A14、实例归一化层14、Leaky relu激活函数层、卷积层A15、实例归一化层15、Leaky relu激活函数层、卷积层A16、实例归一化层16、Leaky relu激活函数层、卷积层A17、Leaky relu激活函数层和解码器Y1依次串联构成,预测器1的输入连接着所述多尺度融合层的输出,预测器1输出的是5倍下采样特征图的预测框;所述的预测器2由运算层12、卷积层A18、实例归一化层17、Leaky relu激活函数层、上采样层U1、运算层13、卷积层A19、实例归一化层18、Leakyrelu激活函数层、卷积层A20、实例归一化层19、Leaky relu激活函数层、卷积层A21、Leakyrelu激活函数层和解码器Y2依次串联构成,预测器2的输入连接着为所述预测器1的卷积层A16的输出经实例归一化层16和Leaky激活函数层的处理后的输出,预测器2输出的是4倍下采样的特征图的预测框;所述的预测器2的运算层13的一个输入连接着所述的特征提取器AA3的中间输出;所述的预测器3由运算层14、卷积层A22、实例归一化层20、Leaky relu激活函数层、上采样层U2、运算层15、卷积层A23、实例归一化层21、Leakyrelu激活函数层、卷积层A24、Leaky relu激活函数层和解码器Y3依次串联构成,预测器3的输入连接着所述预测器2的卷积层A20的输出经实例归一化层19和Leaky激活函数层的处理后的输出,预测器3输出的是3倍下采样的特征图的预测框;所述的预测器3的运算层15的一个输入连接着所述的特征提取器AA2的中间输出;所述的运算层12实现的是预算器1、预测器2的跨层连接,其输出是所述卷积层A18的输入;所述的运算层13实现的是所述特征提取器AA3的中间输出和所述上采样层U1的输出之间的求和运算,求和运算采用了add算法;所述的运算层14实现的是预测器2、预测器3的跨层连接,其输出连接着所述卷积层A22的输入;所述的运算层15实现的是所述特征提取器AA2的中间输出和所述上采样层U2的输出之间的求和运算,求和运算采用了add算法;所述的解码器Y1、解码器Y2和解码器Y3的解码公式与YOLO-v4 tiny网络中的解码公式相同;

所述的卷积层A-1、卷积层A-2、卷积层A1、卷积层A2、卷积层A3、卷积层A4、卷积层A5、卷积层A6、卷积层A7、卷积层A8、卷积层A9、卷积层A10、卷积层A11、卷积层A12、卷积层A13、卷积层A14、卷积层A15、卷积层A16、卷积层A17、卷积层A18、卷积层A19、卷积层A20、卷积层A21、卷积层A22、卷积层A23和卷积层A24具有完全相同的结构,其构建参数包括卷积核的数量、卷积核归一化方式、卷积核大小、卷积核步长、卷积核填充方式、卷积核偏置项、卷积核初始值;

所述的实例归一化层-1、实例归一化层-2、实例归一化层1、实例归一化层2、实例归一化层3、实例归一化层5、实例归一化层6、实例归一化层7、实例归一化层8、实例归一化层9、实例归一化层10、实例归一化层11、实例归一化层12、实例归一化层13、实例归一化层14、实例归一化层15、实例归一化层16、实例归一化层17、实例归一化层18、实例归一化层19、实例归一化层20、实例归一化层21的结构和功能完全相同,用来将输入数据调整到特定的范围。

2.根据权利要求1所述的一种基于多尺度融合的单阶段目标检测神经网络,其特征在于,所述的网络是基于Darknet深度学习框架构建的,网络的损失函数与YOLO-v4 tiny网络的损失函数相同。

3.根据权利要求2所述的一种基于多尺度融合的单阶段目标检测神经网络,其特征在于,所述的神经网络内的填充层PA的填充方法采用same padding,填充大小为1,填充方式为对称补齐。

4.根据权利要求2所述的一种基于多尺度融合的单阶段目标检测神经网络,其特征在于,所述的神经网络内的填充层PB的填充方法采用了内插值的方法,填充大小为13,填充方式为对称补齐。

5.一种基于多尺度融合的单阶段目标检测神经网络的工业品表面缺陷检测模型,其特征在于,包含如下步骤:

步骤1:建立权利要求1所述的基于多尺度融合的单阶段目标检测神经网络YOLO_4t;

步骤2:获取需检测工业产品的图像训练集,将采集到图像的长宽尺寸、图像类型进行同一化处理;

步骤3:对步骤2所获得的图像训练集进行划分,划分为训练集D-1、验证集D-2和测试集D-3;其中训练集D-1用于对网络模型的训练,验证集D-2用于防止网络模型的过拟合,测试集D-3用于对网络模型性能的测试;

步骤4:对步骤3所述的训练集D-1、验证集D-2和测试集D-3内的图像进行标注分类,整理成YOLO数据集格式;

步骤5:根据步骤2的需检测工业产品图像的特征,预设待检测目标的数量并由K-means聚类算法在训练集D-1上获得检测先验框的数量和尺寸;

步骤6:选择步骤1所述的神经网络YOLO_4t,将步骤5所获得的先验框的数据输入到神经网络YOLO_4t的cfg配置文件中;

步骤7:将步骤4处理后的训练集D-1中的图像数据依次输入到神经网络YOLO_4t,根据网络YOLO_4t内的预测器1、预测器2和预测器3的输出,利用网络YOLO_4t内的损失函数,对所述神经网络YOLO_4t内的系列卷积核进行优化,得到优化后的网络模型MM;

步骤8:将步骤4处理后的验证集D-2的缺陷图像输入到步骤7所述网络模型MM中,进行图像的缺陷检测,防止网络模型MM的过拟合;

步骤9:将步骤4处理后的测试集D-3的图像输入到步骤8所述的网络模型MM中,进行网络模型MM的输出和图像实际的验证,获得验证准确率;

步骤10:当步骤9所述的验证准确率达到预期目标,则获得最终的网络模型YOLO_4t_mod,用之对待检测的工业品表面图像进行缺陷检测;当步骤9所述的验证准确率低于预期目标,则需要对网络模型MM进行参数调整,重复步骤7-10,直到验证准确率达到预期目标,获得最终的网络模型YOLO_4t_mod。

6.根据权利要求5所述的一种基于多尺度融合的单阶段目标检测神经网络的工业品表面缺陷检测模型,其特征在于,所述的步骤2采用Python语言、OpenCV实现图像的同一化处理,将图像尺寸归一化到640*640大小并进行图像二值化处理;所述的步骤4选用标注软件LabelImage对图像进行缺陷标注,所生成的TXT文件用于网络YOLO_4t的训练。